Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 23 octobre 2026.
En bref
Ce protocole LLM-as-a-judge comporte huit points : répéter, grouper par session, estimer la variabilité, fixer le juge, lire les notes continues, journaliser, noter le texte seul, contrôler par des experts. Ils suivent l’annexe C de Better Deck or Different Judge?, prépublication arXiv du 30 septembre 2026, cosignée par Ludovic Gibert, premier auteur affilié à AIData2Action, Matis Despujols et André-Louis Rochet, de TW3 Partners. L’étude constate qu’une nouvelle notation déplace les scores de présentations inchangées. Au tour 7, deux passes d’Opus ont un coefficient d’accord, ou ICC, de 0,77, avec un intervalle de confiance à 95 % allant de 0,31 à 0,92. Sur ce même tour, l’analyse descriptive attribue au juge 59 % de la variance des notes, contre 14 % à la présentation, dans le panel étudié. Le protocole porte sur des présentations bancaires ; les gestes proposés ci-dessous pour une équipe projet constituent notre lecture de cabinet, transposable à d’autres livrables sous réserve d’une évaluation adaptée.
1. Pourquoi répéter la notation en répartissant les présentations au hasard ?
Une seule passe laisse la variabilité du juge sans mesure. Le premier point de Gibert et ses coauteurs, 30 septembre 2026, demande de répéter la notation en affectant les présentations aux sessions au hasard. Deux passes font apparaître des écarts ; estimer précisément la variabilité exige un dispositif plus large, adapté à la précision recherchée.
Un juge LLM désigne ici un modèle de langage chargé d’attribuer des notes à des présentations selon une grille. Dans l’étude, Opus a noté à nouveau des fichiers identiques. Pour quatre autres juges, les auteurs ont aussi réaffecté au hasard les présentations à des sessions mixtes. Cette seconde démarche fait varier le regroupement et l’ordre des présentations, au-delà de la répétition à contexte fixe.
Nous recommandons de réserver les nouvelles passes dans le calendrier initial. L’équipe doit conserver les fichiers évalués, préparer leur répartition aléatoire et distinguer une répétition à conditions identiques d’un essai où le contexte change. Le responsable du projet peut alors lire une comparaison dont les conditions sont explicites.
2. Pourquoi traiter les présentations d’une même session comme un groupe ?
Les présentations notées ensemble peuvent partager un même décalage de score. Selon Gibert et ses coauteurs, 30 septembre 2026, une seule session porte l’essentiel de chaque décalage observé dans les répétitions d’Opus. Leur deuxième recommandation consiste donc à traiter les présentations d’une même session comme un groupe lorsqu’on teste un changement.
Les tests par présentation supposent l’indépendance des observations. Les auteurs les complètent par des tests au niveau des sessions, dont le faible nombre limite les conclusions.
Pour une équipe data, nous recommandons d’attacher l’identifiant de session à chaque note, puis d’examiner les écarts session par session avant de conclure sur l’ensemble des présentations. Le compte rendu doit permettre de voir si le mouvement concerne plusieurs groupes ou se concentre dans un seul. Cette information accompagne la moyenne remise au comité projet.
3. Comment estimer la variabilité avant de conclure ?
Il faut estimer la variabilité par document et par campagne, en indiquant l’incertitude. Le troisième point de Gibert et ses coauteurs, 30 septembre 2026, demande aussi d’éviter de tenir un petit changement pour concluant sur la base d’une seule passe.
L’étude distingue les repères suivants :
| Niveau de lecture | Résultat publié | Portée |
|---|---|---|
| Présentation, répétition d’Opus au tour 7 | Plus petit changement détectable estimé à 7,8 points | Calcul sous les hypothèses statistiques exposées dans l’étude |
| Campagne | Échelle de bruit exploratoire de 3,2 points | Estimation issue de deux décalages de campagne, sans valeur de seuil de décision calibré |
Le plus petit changement détectable désigne ici l’écart estimé à partir de la dispersion des différences entre passes. Il dépend des conditions de répétition. L’échelle par campagne répond à une autre question : comment la moyenne bouge-t-elle lorsque les présentations restent inchangées ?
Nous recommandons de demander à l’équipe chargée de l’évaluation un résultat accompagné de son incertitude et de ses hypothèses de calcul. Si un progrès apparent reste petit au regard de cette variabilité, le calendrier doit permettre des mesures supplémentaires avant la décision. Les valeurs de l’étude servent à comprendre la démarche ; chaque projet doit estimer les siennes.
4. Pourquoi comparer les systèmes avec un seul juge et une seule configuration ?
Un changement de juge ou de configuration peut déplacer les notes à fichiers constants. Le quatrième point de Gibert et ses coauteurs, 30 septembre 2026, recommande un juge et une configuration communs pour comparer les systèmes, puis un ensemble partagé de présentations pour relier les mesures lors d’un changement de juge.
Dans l’étude, une nouvelle passe de Sonnet sur les mêmes fichiers donne une moyenne inférieure de 13,0 points à la précédente, pour une cause non identifiée. Au tour 7, l’analyse descriptive attribue 59 % de la variance au juge et 14 % à la présentation. Ces proportions concernent les juges retenus dans ce panel.
Nous recommandons de formaliser la configuration de référence avant toute comparaison de versions du système. Si le juge change, l’ancien et le nouveau doivent évaluer un jeu commun de présentations. L’équipe peut alors examiner leur décalage avant de raccorder les résultats au suivi du projet.
5. Quand lire la note continue plutôt que le verdict ?
À proximité du seuil de décision, il faut privilégier la note continue pour interpréter le résultat. C’est le cinquième point de Gibert et ses coauteurs, 30 septembre 2026. Dans leurs répétitions d’Opus, 7 verdicts sur 34 changent, pour des présentations dont les notes se situent entre 66 et 80.
L’annexe F examine un seuil à 70, choisi sur les données de développement d’Opus. Les classes de verdict se recouvrent entre 56 et 79 : des notes proches peuvent donc accompagner des décisions différentes.
Nous recommandons de présenter au comité projet la note et le verdict ensemble, avec les écarts entre passes pour les dossiers proches du seuil. L’expert métier peut examiner les défauts signalés avant d’accepter une livraison. Le seuil opérationnel reste une décision à documenter selon les exigences du projet ; la valeur explorée dans l’étude ne constitue pas une consigne générale.
6. Que faut-il consigner pour chaque appel au juge ?
Chaque appel doit laisser une trace du modèle, du fournisseur, de la date, de l’effort de raisonnement et du format d’entrée. Ce sont les éléments du sixième point de Gibert et ses coauteurs, 30 septembre 2026.
Le besoin de traçabilité apparaît dans les limites de l’étude. Les versions d’Opus et de Sonnet servies pendant le développement n’ont pas pu être figées. Les appels au juge DeepSeek sont passés par six fournisseurs. Les journaux de génération et de notation ne permettent pas de relier entièrement chaque résultat aux versions des composants qui l’ont produit.
Nous recommandons d’inscrire ce journal dans le cahier des charges de l’évaluation. Pour chaque appel, l’équipe renseigne les éléments prescrits et les rattache à la présentation et à la session concernées. Le responsable technique doit vérifier que ces traces sont récupérables avant le lancement de la campagne.
7. Pourquoi ajouter une passe sur le texte seul ?
Quand les systèmes diffèrent par leur présentation, une passe sur le texte seul permet d’examiner le contenu sans les images des diapositives. Le septième point de Gibert et ses coauteurs, 30 septembre 2026, demande également de vérifier si la longueur des documents suit leur score.
Les auteurs ont réalisé des passes sans images ; la seconde retire aussi des marqueurs de gabarit selon des règles communes. Les longueurs médianes restaient différentes : 4 996 mots pour les présentations du système avec harnais, 3 575 pour celles produites directement par Opus et 2 061 pour celles du modèle ouvert en génération directe. Un biais lié à la longueur demeure possible ; le changement entre les passes ne permet pas d’isoler l’effet du retrait des marqueurs.
Nous recommandons de décrire la préparation du texte avant l’évaluation et d’appliquer les mêmes règles aux systèmes comparés. L’équipe doit conserver la longueur de chaque document et examiner son lien avec les notes. La lecture du texte seul complète ainsi la comparaison des livrables mis en forme.
8. Pourquoi faire contrôler un échantillon par des experts humains ?
L’accord entre juges ne suffit pas à établir l’exactitude d’un document ni son acceptabilité professionnelle. Le huitième point de Gibert et ses coauteurs, 30 septembre 2026, demande de faire vérifier un sous-ensemble de présentations par des experts humains avant de se fier aux niveaux absolus des notes.
L’étude compare les juges avec eux-mêmes et entre eux, sans ensemble de référence noté par des professionnels de la banque. La vérification métier reste donc une étape à organiser pour interpréter ce qu’une note autorise concrètement.
Nous recommandons de réserver ce temps d’expertise dès le calendrier initial et de faire préciser les critères d’acceptation par le responsable métier. La relecture porte sur les présentations et les motifs de notation. Elle doit aider l’équipe à décider si le niveau observé correspond aux exigences de l’usage visé, avant de s’appuyer sur ce niveau pour autoriser une livraison.
FAQ
Les réponses reprennent les recommandations et les limites de Gibert et ses coauteurs, prépublication arXiv du 30 septembre 2026.
Combien de passes de notation faut-il ?
L’annexe C indique que deux passes font apparaître les écarts. Une estimation précise de la variabilité demande un dispositif plus large, adapté à la précision recherchée. L’étude ne fixe aucun nombre universel de passes.
Le juge peut-il venir du même fournisseur que le modèle évalué ?
L’étude évoque une auto-préférence possible du juge Opus, sans établir cet effet. Elle recommande de garder un juge fixe pour comparer les systèmes et utilise des juges d’autres familles pour vérifier le progrès observé. Nous recommandons de prévoir cette vérification dans le dispositif d’évaluation.
Le verdict « à envoyer » suffit-il pour décider ?
Près du seuil, le protocole recommande de privilégier la note continue. Nous recommandons d’y joindre la lecture métier des défauts signalés avant de décider de l’envoi.
Que doit contenir le journal des appels ?
Le modèle, le fournisseur, la date, l’effort de raisonnement et le format d’entrée, pour chaque appel. Nous recommandons de relier ces traces aux fichiers évalués et à leur session.
Ce protocole dispense-t-il de relecteurs humains ?
Il prévoit un contrôle d’un sous-ensemble de présentations par des experts humains. Ce contrôle intervient avant de se fier aux niveaux absolus des notes.
Le protocole vaut-il hors des présentations bancaires ?
L’annexe C est formulée pour des présentations. Son application à d’autres livrables constitue une recommandation du cabinet : la grille, les documents d’évaluation et le contrôle métier doivent être adaptés à l’usage concerné.
Pour aller plus loin
- Noter deux fois les mêmes documents avec un juge LLM : répétabilité, dérive et plus petit écart détectable.
- Huit modèles juges sur les mêmes présentations : la part du juge dans la note dépasse celle du document.
- Un modèle ouvert de 27 milliards de paramètres, hébergé sur site et encadré par un harnais, comparé à Opus en génération directe.
- Meilleur document ou juge différent ? Évaluer un agent qui produit des présentations de banque d’investissement.
Sources
- arXiv, Ludovic Gibert, Matis Despujols et André-Louis Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, version initiale du 30 septembre 2026, consulté le 9 octobre 2026.
- arXiv, texte intégral de la même prépublication, 30 septembre 2026, annexe C et sections sur les résultats et leurs limites, consulté le 9 octobre 2026.