Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 23 octobre 2026.
En bref
La fiabilité d’un juge LLM se mesure en répétant la notation : un même document peut recevoir des notes différentes. Selon Gibert, Despujols et Rochet, sur arXiv le 30 septembre 2026, au tour 7, le coefficient de corrélation intraclasse (ICC), qui mesure la concordance des notes entre passes d’Opus, atteint 0,77, avec un intervalle de confiance de 0,31 à 0,92. Le plus petit écart détectable estimé pour un document est de 7,8 points au tour 7. Sonnet abaisse sa moyenne de 13,0 points en cinq jours sur les mêmes fichiers, avec un intervalle de -14,9 à -11,1 points et une cause non identifiée. Les écarts d’Opus se concentrent dans certains groupes de documents notés ensemble. Avant de conclure à un progrès, l’étude recommande donc de répéter la notation et d’en estimer la variabilité.
1. Que veut dire « fiabilité » pour un juge LLM ?
Selon Koo et Li, dans le Journal of Chiropractic Medicine du 31 mars 2016, la fiabilité désigne la capacité à reproduire une mesure. Appliquée ici à la notation d’un document inchangé, elle conditionne l’usage du score pour décider de garder une version ou de reprendre le travail.
Dans Better Deck or Different Judge?, publié sur arXiv le 30 septembre 2026, Ludovic Gibert, d’AIData2Action, Matis Despujols et André-Louis Rochet, de TW3 Partners, étudient des présentations de banque de financement et d’investissement. Le juge applique une grille, attribue une note et rend un verdict. Ses évaluations orientent les modifications du système qui produit les documents.
La répétabilité compare plusieurs passes du même juge sur les mêmes fichiers. L’accord entre juges compare leurs notations d’un même ensemble. Un décalage de niveau apparaît lorsque les notes se déplacent entre campagnes alors que les documents restent identiques. Ces comparaisons répondent à des décisions différentes : estimer la précision d’une mesure, changer d’évaluateur ou comparer des versions du système.
Les auteurs soulignent aussi que l’accord entre juges ne suffit pas à établir la qualité professionnelle. Leur étude ne dispose pas d’un ensemble de référence noté par des banquiers.
2. Que donnent deux passes d’Opus sur des présentations identiques ?
Les estimations centrales indiquent un bon accord, accompagné d’une incertitude importante. Le tableau de répétabilité de l’étude arXiv du 30 septembre 2026 compare des passes lancées en parallèle sur des textes et images identiques à l’octet. Le tour 8 ajoute un classeur de contrôles, commun aux passes de ce tour.
L’ICC, ou coefficient de corrélation intraclasse, mesure l’accord des notations. La forme retenue porte sur l’accord absolu d’une notation individuelle : elle examine la proximité des notes attribuées aux mêmes documents. L’intervalle de confiance rend visible l’incertitude de l’estimation.
| Mesure sur les mêmes 17 documents | Tour 7 | Tour 8 |
|---|---|---|
| Moyennes des passes A et B | 75,8 et 77,8 | 75,7 et 76,8 |
| Décalage moyen et intervalle à 95 % | +2,0 [0,1 ; 3,8] | +1,1 [-0,8 ; 2,9] |
| ICC et intervalle à 95 % | 0,77 [0,31 ; 0,92] | 0,78 [0,44 ; 0,89] |
| Verdicts identiques | 12 sur 17 | 15 sur 17 |
| Écart détectable estimé par document | 7,8 points | 8,2 points |
Les auteurs situent les estimations centrales dans la bande « bonne » de Koo et Li. Les bornes basses de 0,31 et 0,44 empêchent cependant de résumer le résultat par cette seule qualification. Pour une direction qui doit arbitrer sur un faible gain, conserver l’intervalle dans le compte rendu change la lecture du résultat.
3. Qu’est-ce que le plus petit écart détectable ?
Le plus petit écart détectable estime l’amplitude qu’un changement de note doit dépasser pour se distinguer de la variabilité entre passes, sous les hypothèses du calcul. Dans la méthode de l’étude arXiv du 30 septembre 2026, il correspond au MDC95, calcul conventionnel au niveau de 95 %.
La formule utilisée est : MDC95 = 1,96 × écart-type des différences entre passes. L’écart-type décrit la dispersion de ces différences. Le résultat s’exprime dans la même unité que la grille : des points de notation.
Les estimations par document sont de 7,8 points au tour 7 et de 8,2 au tour 8. En regroupant les 34 paires de notes, les auteurs obtiennent 7,9 points, avec un intervalle de 6,4 à 10,4. L’estimation atteint 8,4 points lorsque le décalage systématique est inclus. L’annexe statistique précise que ce regroupement réutilise les mêmes documents et que ses intervalles ignorent les dépendances liées aux documents répétés et aux sessions.
Pour une moyenne de campagne, le calcul change. Si les erreurs sont indépendantes, l’écart détectable se divise par la racine carrée du nombre de documents. L’étude estime ainsi une échelle de 1,9 point, contre 3,2 points à partir des décalages observés entre campagnes. Cette dernière valeur repose sur seulement deux décalages : elle reste exploratoire et ne constitue pas un seuil de décision calibré.
TW3 Partners recommande donc d’associer toute valeur d’écart détectable à son dispositif de mesure et à son unité de décision, document individuel ou moyenne de campagne.
4. Pourquoi les écarts se regroupent-ils par session ?
Les documents évalués ensemble semblent partager un décalage de notation. Selon l’étude arXiv du 30 septembre 2026, la session des dossiers de crédit porte l’essentiel de l’écart au tour 7 ; celle du groupe intitulé « Coverage » dans l’étude le porte au tour 8.
Une session désigne ici un groupe de documents notés dans un même contexte. Cette organisation compte dans le calcul statistique : les notes d’un groupe peuvent varier ensemble. Ajouter des documents dans ce groupe ne revient donc pas nécessairement à ajouter autant de mesures indépendantes.
Sur les documents inchangés du tour 7, le test de Wilcoxon donne une valeur p de 0,033. Le test par inversion des signes donne 0,063 au niveau du document et 0,375 au niveau de la session. Ces valeurs p servent à examiner l’hypothèse d’absence de décalage ; leur différence montre que l’unité retenue pour la comparaison compte dans l’interprétation du résultat.
Tous les tests de l’étude sont exploratoires et sans correction pour comparaisons multiples. La conséquence de méthode est de conserver le groupe de notation dans l’analyse : l’annexe C recommande de traiter les documents d’une même session comme un ensemble dépendant.
5. Le même nom de modèle reproduit-il le même niveau de notation ?
Dans cette étude, Sonnet applique des niveaux différents aux mêmes fichiers à quelques jours d’intervalle. Le résultat publié sur arXiv le 30 septembre 2026 concerne les documents du tour 5.
La passe initiale de Sonnet donne une moyenne de 86,8, contre 75,0 pour Opus. L’écart atteint +11,8 points, avec un intervalle de 8,7 à 14,6. Leur ICC d’accord absolu vaut 0,18, avec un intervalle de 0,00 à 0,32.
Cinq jours plus tard, la nouvelle passe de Sonnet donne 73,8. Elle se situe à -1,2 point d’Opus, avec un intervalle de -3,8 à +1,2. Par rapport à la première passe de Sonnet, le décalage est de -13,0 points, avec un intervalle de -14,9 à -11,1.
Les auteurs n’en identifient pas la cause. Les réglages, l’accès aux outils et la version effectivement servie du modèle ont pu différer. Ces possibilités restent des explications à examiner.
Pour une équipe qui suit ses progrès dans le temps, TW3 Partners recommande de joindre au résultat la configuration conservée lors de chaque appel. L’annexe C demande de consigner le modèle, le fournisseur, la date, l’effort de raisonnement et le format des entrées. Le nom commercial seul a échoué à reproduire le niveau observé ici.
6. Que devient le verdict près du seuil ?
Un verdict peut changer alors que le document reste inchangé. Dans l’étude arXiv du 30 septembre 2026, sept verdicts sur 34 répétitions basculent, sur des présentations notées entre 66 et 80.
Ces bascules concernent les catégories « non envoyable » et « après corrections ». Opus n’a rendu aucun verdict « à envoyer tel quel » dans ses évaluations de développement. Distinguer les catégories évite de transformer une hésitation sur les corrections en validation professionnelle du document.
Un seuil à 70 reproduit 86 % des verdicts d’Opus dans ses évaluations de développement, mais les classes se recouvrent entre 56 et 79. Ce seuil a été choisi sur ces données. Il décrit leur classement sans fournir une règle universelle d’envoi.
Près de la frontière, l’annexe C recommande de lire la note continue. Pour décider d’une reprise, TW3 Partners recommande de la rapprocher des défauts signalés par le juge et de confier l’acceptation du document à la revue métier prévue.
7. Que faire avant de conclure à un progrès ?
Il faut mesurer la variabilité du dispositif utilisé pour la comparaison. Le protocole de l’étude arXiv du 30 septembre 2026 recommande de répéter les notations en répartissant aléatoirement les documents entre sessions, puis d’estimer l’incertitude par document et au niveau de la campagne.
TW3 Partners recommande d’inscrire dans le compte rendu d’évaluation :
- les documents comparés et les fichiers effectivement présentés au juge ;
- la configuration de notation et la composition des sessions ;
- le gain observé, la variabilité mesurée et leur incertitude ;
- les points soumis à la validation d’un expert métier.
Les estimations doivent correspondre à l’expérience conduite. Avec des documents réaffectés à des sessions, l’étude trouve des écarts détectables par document de 13,5 à 16,1 points pour les quatre juges évalués de cette manière. Ce protocole fait varier le regroupement et l’ordre, alors que les répétitions d’Opus conservent les groupes. Les valeurs obtenues ne sont donc pas interchangeables.
Répéter les passes rend les divergences observables. Estimer précisément la variabilité demande un dispositif plus large, adapté à la précision recherchée. L’examen d’un sous-ensemble par des experts humains reste une étape du protocole avant de se fier aux niveaux absolus.
FAQ
Qu’est-ce qu’une ICC ?
Le coefficient de corrélation intraclasse mesure la concordance des notations. Selon Koo et Li, Journal of Chiropractic Medicine, 31 mars 2016, des séries identiques donnent une ICC de 1. L’étude des présentations retient l’accord absolu d’une notation individuelle.
Une ICC de 0,77 suffit-elle ?
L’étude arXiv du 30 septembre 2026 rapporte pour cette estimation un intervalle de 0,31 à 0,92 sur 17 documents. La borne basse impose de conserver l’incertitude dans l’arbitrage ; l’estimation centrale seule ne qualifie pas la précision obtenue.
Que signifie un écart détectable de 7,8 points ?
C’est l’estimation par document pour les répétitions d’Opus au tour 7 dans l’étude arXiv du 30 septembre 2026. Sous les hypothèses du calcul, un écart inférieur reste dans l’amplitude de bruit retenue. La valeur doit être réestimée lorsque le dispositif change.
Pourquoi Sonnet baisse-t-il sa moyenne en cinq jours ?
Dans l’étude arXiv du 30 septembre 2026, les auteurs n’ont pas identifié la cause. Ils signalent que les réglages, les outils accessibles et la version servie ont pu différer, ce qui justifie de conserver la configuration de chaque appel.
Moyenner plusieurs documents réduit-il le bruit ?
Sous l’hypothèse d’erreurs indépendantes, le calcul de l’étude réduit l’écart détectable selon la racine carrée du nombre de documents. Les décalages communs aux documents d’une session limitent l’application de cette règle.
Ces valeurs valent-elles pour d’autres juges ?
Les répétitions d’Opus décrites dans l’étude arXiv du 30 septembre 2026 portent sur 17 livrables, quatre sessions et deux paires de passes. Ce périmètre limite la portée de ces estimations. Les auteurs demandent davantage de passes et de sessions réparties indépendamment pour stabiliser les mesures de variabilité.
Pour aller plus loin
- Meilleur document ou juge différent ? Évaluer un agent qui produit des présentations de banque d’investissement
- Évaluer un système d’IA avec un juge LLM : le protocole en huit points tiré de notre étude
- Huit modèles juges sur les mêmes présentations : la part du juge dans la note dépasse celle du document
Sources
- arXiv, Ludovic Gibert, Matis Despujols et André-Louis Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, version 1, 30 septembre 2026, consulté le 9 octobre 2026. Notice, PDF intégral et texte HTML lus.
- Journal of Chiropractic Medicine, Terry K. Koo et Mae Y. Li, A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research, 31 mars 2016, consulté le 9 octobre 2026.