Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 6 novembre 2026.
En bref
Changer d’évaluateur automatique demande de renoter les mêmes documents avant de décider si les nouvelles notes peuvent prolonger le suivi existant. Un juge LLM désigne un modèle de langage chargé d’évaluer un contenu selon une grille. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet étudient 17 livrables, exercices construits à partir d’informations publiques, et recommandent un ensemble commun lors d’un changement de juge. Leurs observations montrent qu’un décalage entre évaluateurs peut ne pas se reproduire sur les mêmes fichiers. Pour une direction, la décision porte sur la continuité du suivi : quelles notes restent comparables, pour quels documents et avec quelle incertitude ? La démarche ci-dessous est une proposition de méthode du cabinet pour préparer cette décision avant le remplacement.
1. Qu’est-ce qui change dans le dispositif de notation ?
Le changement concerne toute la configuration qui produit une note, y compris les instructions et les documents effectivement accessibles au juge. La fiche de migration doit donc décrire l’ancienne configuration et celle qui la remplacera.
Dans la prépublication de Gibert, Despujols et Rochet déposée sur arXiv le 30 septembre 2026, une nouvelle évaluation de fichiers inchangés modifie le niveau des notes d’un juge. Les auteurs ne peuvent en identifier la cause : réglages, accès aux outils et version servie ont pu différer. Le nom du modèle ne suffisait donc pas à reproduire son niveau de notation.
Pour préparer un remplacement, nous recommandons de consigner les éléments suivants dans un registre de configuration :
| Élément à conserver | Information utile à la comparaison |
|---|---|
| Modèle et fournisseur | Identifiant de version, service utilisé, date de chaque appel |
| Instructions | Texte intégral des consignes et de la grille |
| Outils et contexte | Fichiers accessibles, mémoire de session, outils autorisés |
| Entrées | Texte extrait, images, résolution, ordre des documents |
| Sorties | Format demandé, règle d’extraction des notes, verdicts |
| Exécution | Effort de raisonnement et réglages disponibles |
Cette proposition prolonge les informations consignées dans le protocole et les configurations de l’étude. Lorsqu’un paramètre reste inconnu, inscrivez cette inconnue dans le registre. La conclusion portera alors sur les configurations effectivement observées.
Fixez aussi le moment du basculement. Une migration annoncée permet d’organiser une période de comparaison ; une anomalie découverte dans l’historique appelle une enquête distincte.
2. Comment constituer le corpus de raccordement ?
Le corpus de raccordement désigne un ensemble figé de documents que les configurations comparées doivent toutes évaluer. Il sert à observer leurs différences sur des entrées communes.
L’annexe méthodologique de Gibert, Despujols et Rochet, 30 septembre 2026 demande précisément d’appuyer tout changement de juge sur un ensemble partagé. Pour transposer cette règle à une migration, réunissez les types de documents auxquels la future notation s’appliquera. Prévoyez des qualités contrastées et des dossiers proches des décisions qui comptent pour le métier. Conservez les fichiers tels quels pendant la campagne, avec leurs identifiants et la grille applicable.
Une précaution complémentaire vient de Yitao Li, dans une prépublication déposée sur arXiv le 13 juin 2026. Son dispositif de surveillance utilise des éléments fixes, annotés par des humains et exclus de la calibration du processus principal. Ce dispositif traite la détection de dérive ; il fournit ici un appui méthodologique pour séparer la référence de contrôle des données utilisées pour régler le système.
Dans la campagne proposée, réservez donc le corpus avant les ajustements. Confiez au métier la validation des critères et la relecture des cas sensibles. Si les consignes sont ensuite modifiées à partir des erreurs observées, consignez cet usage et prévoyez une confirmation sur des documents restés à l’écart. La décision doit préciser le périmètre couvert : familles documentaires, critères et niveaux de qualité représentés.
L’effectif de l’étude TW3 décrit son expérience ; le dimensionnement d’une autre campagne dépend de la précision recherchée et de la diversité des dossiers.
3. Comment faire noter les deux configurations ?
Chaque document doit recevoir des évaluations avec l’ancienne configuration et avec la nouvelle, selon un plan préparé avant l’exécution.
Le protocole de Gibert, Despujols et Rochet, 30 septembre 2026 attribue des lettres aléatoires aux présentations et masque leur auteur ainsi que leur cycle de production. Son annexe méthodologique demande de répéter les notations en réaffectant aléatoirement les documents aux sessions. Elle rappelle aussi que les documents évalués ensemble forment un groupe à prendre en compte dans l’analyse.
Pour une migration, préparez une table d’appariement reliant chaque document à ses évaluations. Masquez la provenance et les dates de génération lorsqu’elles révèlent la version du système producteur, tout en conservant les dates utiles au contenu métier. Équilibrez les positions des documents entre configurations et faites varier leur ordre entre répétitions. Ces dispositions sont proposées pour organiser la comparaison ; elles ne décrivent aucune nouvelle campagne menée par TW3.
Archivez les réponses complètes, les notes par critère, les verdicts et les identifiants de session. Gardez chaque répétition : une moyenne seule empêcherait de relire les réponses dont elle provient. Définissez avant extraction le traitement des réponses incomplètes, des champs absents et des contradictions entre total et commentaire.
Le livrable de cette étape est une table vérifiable. Pour chaque écart discuté, l’analyste doit pouvoir retrouver le document, la configuration, la session et la réponse brute. Les exclusions doivent rester visibles dans cette table et dans le compte rendu.
4. Quels écarts faut-il comparer ?
La comparaison doit porter sur le niveau des notes, leurs écarts document par document et les décisions qui en découlent.
Dans leur guide méthodologique de 2016, Koo et Li distinguent la cohérence et l’accord absolu. L’accord absolu examine si les évaluateurs attribuent la même note au même objet. La cohérence peut admettre un décalage additif systématique entre eux. Cette distinction statistique aide à formuler la question de migration : conserver le niveau des notes exige d’examiner leur accord absolu.
Le tableau suivant constitue notre proposition de lecture du dossier de comparaison.
| Lecture | Question à soumettre à la décision |
|---|---|
| Écart moyen | La nouvelle configuration note-t-elle globalement plus haut ou plus bas ? |
| Dispersion des différences | Les écarts varient-ils fortement selon le document ? |
| Accord absolu | Les notes peuvent-elles servir au même usage, dans les tolérances prévues ? |
| Classements | Les documents prioritaires restent-ils les mêmes ? |
| Verdicts | Quels dossiers changent de catégorie de décision ? |
Documentez aussi les résultats par famille de documents lorsque l’effectif le permet. Faites relire les bascules de verdict sur les pièces concernées, notamment celles qui déclencheraient une validation ou une reprise.
Koo et Li demandent de préciser la forme du coefficient de corrélation intraclasse, ou ICC, ainsi que son intervalle de confiance. Le choix doit refléter l’usage final : note individuelle ou moyenne de plusieurs évaluations. Pour prolonger cette lecture, voir ICC : quelle corrélation intraclasse choisir pour évaluer un juge LLM ? et Kappa de Cohen : interpréter les désaccords entre verdicts d’un juge LLM.
5. Peut-on simplement soustraire un décalage moyen ?
Soustraire un décalage moyen constitue une hypothèse de correction à vérifier sur les différences individuelles.
La distinction présentée par Koo et Li en 2016 décrit une relation additive entre évaluateurs pour la cohérence. Par construction, soustraire la même constante à toutes les notes d’un évaluateur conserve leur ordre et la dispersion des différences autour de leur moyenne. Il faut donc examiner les écarts résiduels avant d’utiliser les notes corrigées dans une décision.
La prépublication de Gibert, Despujols et Rochet déposée sur arXiv le 30 septembre 2026 donne une raison concrète de procéder ainsi : après la nouvelle notation des mêmes fichiers, le classement produit par le juge diffère encore de celui de l’autre évaluateur. Le décalage observé auparavant ne s’est pas reproduit. Ces observations ne fournissent aucun coefficient universel de raccordement.
Si une correction est envisagée, conservez les notes brutes et la règle appliquée. Examinez ensuite les différences corrigées par document et les changements de verdict. Prévoyez une vérification sur des documents réservés, puis limitez l’usage de la correction au périmètre effectivement examiné.
L’accord entre évaluateurs laisse ouverte la question de la qualité métier. L’annexe méthodologique de la même étude demande une vérification par des experts humains avant de se fier aux niveaux absolus. Cette relecture peut conduire à réviser la grille ou le seuil de décision ; elle doit alors être documentée comme une modification supplémentaire.
6. Quand faut-il ouvrir une nouvelle série de suivi ?
Ouvrez une nouvelle référence lorsque les différences observées dépassent les tolérances décidées pour l’usage, ou lorsque la campagne ne permet pas de conclure à la comparabilité recherchée.
Cette règle de gouvernance est une proposition du cabinet. Elle prolonge le constat de Koo et Li, 2016 : il n’existe pas de valeur standard d’ICC définissant une fiabilité acceptable. Le responsable métier doit fixer avant l’analyse les écarts acceptables et les décisions qui exigent une relecture. Un indicateur statistique accompagne cet arbitrage.
Le compte rendu de migration doit nommer la référence précédente, dater le changement et identifier les configurations concernées. Précisez les familles documentaires encore comparables, les éventuelles corrections retenues et les usages suspendus. Dans le tableau de bord, rendez la rupture visible et conservez l’accès à l’historique brut.
La pérennité de cette référence demande aussi une revue. Dans sa prépublication déposée sur arXiv le 13 juin 2026, Li souligne que des annotations humaines figées peuvent devenir obsolètes si le sens des critères évolue. Il précise également que son dispositif n’attribue pas simultanément une dérive au système et au juge. Ces limites concernent son mécanisme de surveillance ; elles invitent ici à documenter toute évolution de la grille et du corpus.
Prévoyez enfin le responsable qui autorise le basculement et les circonstances qui déclencheront une nouvelle comparaison. La campagne s’achève par une décision explicite sur l’usage des notes après la migration.
FAQ
Un changement de prompt est-il un changement de juge ?
Il modifie la configuration à consigner : le prompt est le texte d’instruction envoyé au modèle. Dans la méthode proposée, son remplacement déclenche une comparaison sur le corpus commun si les notes doivent prolonger le même suivi.
Pourquoi renoter les mêmes documents avec les deux configurations ?
Des entrées identiques permettent de comparer les évaluateurs sur un contenu fixé, conformément au protocole TW3 cité plus haut. L’appariement et la conservation des répétitions rendent ensuite chaque différence vérifiable.
Faut-il comparer seulement les moyennes ?
L’examen proposé inclut la dispersion des différences, l’accord absolu et les verdicts. Le dossier de décision doit notamment montrer les documents dont le traitement métier changerait.
Peut-on corriger toutes les notes par une constante ?
Une telle correction doit être vérifiée sur son périmètre d’emploi. Elle conserve l’ordre des notes de la configuration corrigée et demande donc un examen séparé des désaccords de classement.
Quand ouvrir une nouvelle série de suivi ?
La règle proposée est de créer une nouvelle référence lorsque les tolérances préétablies sont dépassées ou que la comparabilité reste indécise. Le journal de migration doit conserver la date, le périmètre et la justification de cette décision.
Pour aller plus loin
- ICC : quelle corrélation intraclasse choisir pour évaluer un juge LLM ?
- Bland-Altman : voir où deux juges LLM cessent d’être interchangeables
- Dérive du système ou du juge LLM : utiliser des références humaines fixes
Sources
- Gibert, Despujols et Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, consulté le 9 octobre 2026.
- Koo et Li, A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research, Journal of Chiropractic Medicine, 2016, consulté le 9 octobre 2026.
- Yitao Li, Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines, prépublication déposée sur arXiv le 13 juin 2026, consulté le 9 octobre 2026.