Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 23 octobre 2026.
En bref
Selon l’étude publiée sur arXiv le 30 septembre 2026, comparer plusieurs juges LLM révèle surtout des écarts de niveau de notation. Les configurations diffèrent selon les modèles : agents avec outils, API commerciales ou serveur sur site. Au tour 7, l’analyse descriptive attribue 59 % de la variance au juge et 14 % au document, des parts propres à ce panel choisi par commodité, sans généralisation à d’autres juges. Tous constatent une hausse moyenne entre les tours 1 et 7, de 5,6 à 13,9 points. Sur les mêmes présentations finales, la moyenne des notes va de 75,5 avec Sonnet à 93,4 avec Qwen3.8-27B. Hors Haiku, la corrélation de rang médiane entre paires de juges passe de 0,63 au tour 1 à 0,30 au tour 7. Pour une équipe projet, ces résultats invitent à comparer les systèmes avec un juge et une configuration fixes.
1. Pourquoi faire noter les mêmes présentations par huit juges ?
L’objectif est de vérifier si d’autres familles de modèles constatent aussi le progrès signalé par le juge ayant guidé le développement. Dans Better Deck or Different Judge?, publié sur arXiv le 30 septembre 2026, les corrections apportées au système dépendent en partie des défauts signalés par Opus. Faire intervenir d’autres familles de modèles apporte donc un contrôle du progrès mesuré.
Un juge LLM désigne ici un modèle de langage chargé de noter un document selon une grille, de justifier ses notes et de rendre un verdict. Les présentations sont des exercices construits à partir d’informations publiques. Le juge reçoit les images des diapositives et leur texte extrait, sans connaître leur auteur ni leur tour de développement.
Le panel réunit huit juges de six familles. Opus, Sonnet et Haiku travaillent comme agents avec des outils et des images à pleine taille. DeepSeek V4.1 Flash, GLM 5.3 FlashX, GPT-6 Luna Pro et Gemini 3.8 Flash passent par des API, avec un effort de raisonnement faible et des images réduites à 1 600 pixels. Qwen3.8-27B fonctionne sur site, avec les images réduites et sans réglage d’effort.
Les campagnes de développement datent des 24 et 25 septembre 2026, le panel contrôlé du 29 septembre. Les versions d’Opus et de Sonnet servies pendant le développement, ainsi que la configuration de ces campagnes, ne sont pas entièrement reconstituables. Cette différence de conditions accompagne toute lecture des niveaux de note.
2. Les huit juges voient-ils le même progrès ?
Tous voient une hausse moyenne entre les tours 1 et 7, avec une amplitude variable. La Table 5 de l’étude arXiv du 30 septembre 2026 donne les résultats ci-dessous, sur une grille notée sur 100. Pour Opus, elle reprend la campagne de développement ; les autres valeurs viennent du panel contrôlé.
| Juge | Moyenne au tour 1 | Moyenne au tour 7 | Gain moyen | Documents en hausse sur 17 |
|---|---|---|---|---|
| Claude Sonnet | 65,4 | 75,5 | +10,1 | 12 |
| GPT-6 Luna Pro | 71,8 | 79,8 | +8,0 | 14 |
| GLM 5.3 FlashX | 80,4 | 87,8 | +7,4 | 13 |
| Claude Opus | 63,3 | 75,8 | +12,5 | 13 |
| Gemini 3.8 Flash | 80,3 | 91,5 | +11,2 | 13 |
| Qwen3.8-27B | 84,8 | 93,4 | +8,6 | 11 |
| DeepSeek V4.1 Flash | 75,2 | 89,1 | +13,9 | 14 |
| Claude Haiku | 81,1 | 86,7 | +5,6 | 11 |
Le progrès concerne de 11 à 14 documents selon le juge. Le test de Wilcoxon donne p < 0,03 pour chacun, sauf Haiku, à p = 0,11. Les auteurs qualifient ces tests d’exploratoires et précisent qu’ils ne sont pas ajustés pour les comparaisons multiples ; les documents évalués dans une même session peuvent aussi partager un décalage de notation.
L’enseignement pour un responsable de projet tient à la convergence du constat : les modèles extérieurs à la famille qui a guidé les corrections voient eux aussi une amélioration. L’ampleur du gain reste attachée au juge et à ses conditions d’utilisation.
3. Pourquoi les niveaux de note diffèrent-ils autant ?
Chaque juge applique la grille à un niveau différent dans sa configuration d’évaluation. Selon l’étude arXiv du 30 septembre 2026, les mêmes fichiers du tour 7 obtiennent une moyenne de 75,5 avec Sonnet et de 93,4 avec Qwen3.8-27B.
Le verdict opérationnel varie également. Qwen, GLM et Gemini autorisent l’envoi tel quel de 9 ou 10 présentations sur 17. Opus, Sonnet et GPT-6 Luna Pro n’en autorisent aucune. Le terme « indulgent » décrit ce niveau de note et cette fréquence d’acceptation dans l’expérience. L’étude ne dispose d’aucune référence notée par des banquiers permettant de désigner le juge le plus exact.
La vérification des additions constitue un contrôle distinct. Les auteurs relèvent 12 erreurs dans 31 notations Haiku complètes, contre aucune dans 235 notations GPT-6 Luna Pro. Ils comparent la somme des critères au total annoncé, en conservant les notes fractionnaires. Nous recommandons de refaire cette addition automatiquement avant d’utiliser le total dans un tableau de suivi. Ce contrôle vérifie la cohérence du calcul ; l’appréciation du document demande une validation métier.
4. Quelle part de la note vient du juge, et quelle part du document ?
Au tour 7, les différences entre juges contribuent davantage à la dispersion des notes que les différences entre présentations. L’analyse descriptive publiée sur arXiv le 30 septembre 2026 répartit la variance de ce tour entre le juge, à 59 %, le document, à 14 %, et un résidu regroupant interaction et erreur, à 27 %. Ces parts décrivent exclusivement le panel choisi par commodité.
L’analyse cherche à séparer les écarts associés aux documents, ceux associés aux juges et ce qui demeure après cette séparation. Le dernier terme réunit l’interaction entre un juge et un document et l’erreur de mesure, car chaque couple ne fournit qu’une observation. Les effets propres aux sessions et aux familles de modèles ne sont pas estimés séparément.
Au tour 1, l’analyse descriptive du même panel attribue 59 % de la variance au document et 23 % au juge : les présentations différaient alors davantage. Là encore, ces parts ne se transposent pas à d’autres juges. Retirer Haiku modifie les parts descriptives des tours 1 et 7 de 4,4 points de pourcentage au plus, selon les auteurs.
Pour le pilotage, notre lecture est la suivante : à mesure que les documents se rapprochent, leur comparaison demande une attention accrue aux conditions de notation. Une moyenne finale doit rester associée au juge qui l’a produite.
5. Les juges classent-ils les présentations dans le même ordre ?
Leur accord sur l’ordre des présentations est plus faible au tour 7 qu’au tour 1. La comparaison publiée sur arXiv le 30 septembre 2026 mesure, hors Haiku, une corrélation de rang médiane entre paires de juges de 0,63 au tour 1, de 0,30 au tour 7 et de 0,53 lorsque les tours sont regroupés.
Cette corrélation compare les positions relatives des documents. En regroupant les versions anciennes et finales, on inclut leur amélioration commune, ce qui peut masquer le désaccord sur le classement des seules versions finales. Les auteurs ajoutent que la moindre dispersion de ces dernières peut aussi réduire la corrélation.
La Table 5 compare également chaque juge à la médiane des autres sur les 34 versions. En incluant Haiku, les corrélations s’étendent de 0,24 à 0,76. Il faut donc lire séparément l’accord sur le progrès d’ensemble et l’accord sur les documents à retenir. Pour une sélection finale, nous recommandons de soumettre les désaccords aux experts métier avec les justifications des notes.
6. Moyenner plusieurs juges règle-t-il le problème ?
La projection des auteurs attribue à la moyenne un bénéfice plus marqué pour le classement que pour le niveau absolu de note. Dans cette projection publiée sur arXiv le 30 septembre 2026, le coefficient relatif atteint 0,72 avec cinq juges, tandis que le coefficient absolu atteint 0,45.
Le coefficient relatif concerne la comparaison des documents entre eux. Le coefficient absolu tient aussi compte des écarts de niveau entre juges. Pour une équipe qui veut fixer une note minimale d’acceptation, nous recommandons donc de vérifier l’accord sur les niveaux avant de retenir ce seuil.
Ces valeurs sont une projection conditionnelle à la décomposition descriptive du tour 7. Elle suppose des contributions du juge et du résidu non corrélées. Les auteurs indiquent que l’extrapolation au-delà de ce panel choisi par commodité reste non validée. Nous recommandons donc de vérifier une moyenne de juges sur les documents et les décisions du projet avant d’en faire une règle d’acceptation.
7. Comment utiliser un juge dans un projet ?
L’annexe C publiée sur arXiv le 30 septembre 2026 recommande de comparer les systèmes avec un juge et une configuration fixes. Tout changement de juge doit être raccordé à la mesure précédente par un ensemble commun de documents.
Notre recommandation de cabinet consiste à conserver ce jeu de documents avec les consignes et les fichiers effectivement transmis. Le journal d’évaluation doit enregistrer le modèle, le fournisseur, la date, l’effort de raisonnement et le format d’entrée. Lorsqu’un paramètre change, faire noter les documents communs dans les conditions précédentes et nouvelles aide à examiner l’écart de mesure.
Des juges d’autres familles peuvent ensuite contrôler le progrès observé pendant le développement. Avant d’utiliser un niveau absolu, l’annexe demande de faire vérifier un sous-ensemble de documents par des experts humains. Pour préparer cette démarche, voir Évaluer un système d’IA avec un juge LLM : le protocole en huit points tiré de notre étude.
FAQ
Les réponses suivantes s’appuient sur l’étude arXiv du 30 septembre 2026.
Qu’appelle-t-on un juge indulgent ?
C’est ici un juge qui attribue des notes plus hautes et accepte plus souvent l’envoi sans correction. Qwen, GLM et Gemini présentent ce comportement dans les conditions de l’étude.
Le juge Qwen favorise-t-il les présentations produites par Qwen ?
Qwen3.8-27B intervient à la fois dans la production et dans l’évaluation. Face aux présentations produites directement par Opus, sa préférence pour celles du système complet est partagée par GPT-6 Luna Pro : cette comparaison n’isole donc pas un effet d’auto-préférence.
Quel juge choisir ?
L’annexe C recommande de conserver le même juge et la même configuration pour comparer les systèmes. Elle demande aussi un contrôle par des experts humains avant de se fier aux niveaux absolus ; le choix doit être vérifié sur les documents du projet.
Des juges de familles voisines sont-ils indépendants ?
L’étude signale que son panel inclut des familles apparentées. Ses parts de variance et ses projections de moyenne restent propres à ce panel ; elles ne démontrent pas l’indépendance des juges.
Que représente la part du juge dans la variance des notes ?
Au tour 7, l’analyse descriptive attribue 59 % de la variance aux écarts entre juges dans le panel observé. Cette part décrit la dispersion des notes avec ces juges choisis par commodité, sans généralisation à d’autres modèles.
Quels résultats l’étude rapporte-t-elle pour Haiku ?
Son gain moyen est associé à p = 0,11, et sa corrélation avec la médiane des autres juges sur les 34 versions vaut 0,24. Les auteurs relèvent aussi 12 erreurs d’addition sur 31 notations complètes dans ce protocole.
Pour aller plus loin
- Meilleur document ou juge différent ? Évaluer un agent qui produit des présentations de banque d’investissement
- Noter deux fois les mêmes documents avec un juge LLM : répétabilité, dérive et plus petit écart détectable
- Évaluer un système d’IA avec un juge LLM : le protocole en huit points tiré de notre étude