Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 7 novembre 2026.
En bref
Faire renoter des documents fixes, déjà évalués par des humains, aide à repérer un changement de comportement de l’outil qui attribue les notes. Cette surveillance permet de décider si une alerte doit conduire à examiner le système producteur ou son évaluateur automatique. Dans sa prépublication déposée sur arXiv le 13 juin 2026, Yitao Li propose de suivre séparément les nouvelles productions et ces références fixes, appelées ancres. La prépublication de Gibert, Despujols et Rochet, déposée sur arXiv le 30 septembre 2026, porte sur 17 livrables construits à partir d’informations publiques, sans disposer de telles ancres humaines. Le protocole de Li fournit une méthode prospective pour examiner cette ambiguïté. Son interprétation suppose que les annotations humaines restent pertinentes et que les ancres soient évaluées assez fréquemment.
1. Pourquoi une baisse de note a-t-elle plusieurs causes possibles ?
Une note peut baisser parce que le travail évalué se dégrade ou parce que son évaluateur devient plus sévère. Un juge LLM désigne ici un modèle de langage chargé de noter les productions d’un autre système selon des critères définis.
Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet observent des changements de notation sur des présentations inchangées. La cause d’un décalage entre campagnes reste indéterminée : réglages, accès aux outils et version effectivement servie ont pu différer. Les auteurs constatent que le nom du modèle ne suffisait pas à reproduire son niveau de notation.
Cette étude rétrospective compare des évaluations déjà réalisées. Elle se distingue explicitement du protocole de Li, qui prépare des références humaines avant le début du suivi. Les présentations inchangées de TW3 permettent d’observer une variation des notes ; elles ne constituent pas un jeu d’ancres humaines.
Pour une direction de validation, cette distinction commande la suite de l’enquête. Notre recommandation est de conserver séparément le signal de baisse et son attribution. Le premier justifie un examen ; la seconde oriente les vérifications vers le système ou vers l’évaluateur. Une procédure de retour à une version antérieure mérite donc de préciser quelle preuve déclenche cette décision.
2. Qu’est-ce qu’un jeu d’ancres humaines ?
Un jeu d’ancres humaines désigne un ensemble fixe de contenus accompagné d’annotations humaines figées, réservé avant le démarrage du suivi. Dans le protocole de Li du 13 juin 2026, cet ensemble est exclu de la calibration du suivi principal, c’est-à-dire du réglage de sa référence initiale.
Chaque ancre contient le travail à évaluer et la note humaine correspondante. Le juge courant réévalue périodiquement une ancre tirée au hasard dans cet ensemble. Le suivi mesure alors son écart avec l’annotation humaine. Comme les contenus et les annotations restent identiques, une modification des nouvelles productions du système ne peut pas modifier directement ce flux de référence.
Le point de comparaison est l’écart initial entre le juge et les humains, calculé sur l’ensemble des ancres pour chaque critère. Le protocole ne suppose donc pas un accord parfait au départ. Il surveille une évolution par rapport à cet état initial, aussi bien vers davantage de sévérité que vers davantage d’indulgence.
Pour transposer cette construction, nous recommandons de conserver les contenus exacts, les annotations et les résultats de l’évaluation initiale dans une version identifiable. Remplacer silencieusement un document ou corriger sa note humaine changerait le point de comparaison. Une modification décidée des références doit ouvrir une nouvelle période de suivi, avec une référence initiale explicitement recalculée.
3. Comment intercaler les ancres dans le suivi ?
Les ancres sont réévaluées à intervalles réguliers au milieu du suivi, mais leurs résultats alimentent une statistique distincte. Li décrit cette séparation dans sa prépublication du 13 juin 2026.
Le flux principal porte sur les productions nouvelles. Il associe un juge léger, appliqué à chaque élément, et un juge de référence, appelé sur un échantillon. Les ancres constituent un autre flux : le juge de référence y renote des contenus réservés, dont les résultats n’entrent ni dans le réglage ni dans les statistiques du suivi principal.
L’enjeu est leur vitesse relative de détection. Si le juge devient plus sévère, le suivi principal peut annoncer une baisse de qualité avant que les ancres aient accumulé assez d’observations pour signaler ce changement. Augmenter l’effort d’évaluation sur les productions sans adapter celui consacré aux ancres peut ainsi accélérer une attribution erronée au système.
Li propose donc de dimensionner les ancres en fonction du suivi qu’elles doivent protéger. La fréquence de passage se choisit avec la sensibilité attendue et le délai acceptable pour attribuer une alerte. Il s’agit d’un réglage à éprouver sur le périmètre retenu, sans cadence universelle.
Pour une mise en œuvre, il est utile de journaliser séparément les passages du flux principal et ceux des ancres. La revue d’incident peut alors retrouver l’ordre des alertes, la configuration du juge et la version des références, sans confondre observations nouvelles et contenus de contrôle.
4. Que décide la fenêtre de garde ?
La fenêtre de garde laisse au suivi des ancres un délai supplémentaire après l’alarme principale avant d’attribuer la dérive au système. La règle de Li, datée du 13 juin 2026, compare les premières alertes des deux suivis et produit les issues suivantes.
| Situation observée | Verdict du protocole |
|---|---|
| Aucun suivi ne déclenche d’alarme | Aucune alerte |
| Les ancres déclenchent seules, avant ou au même moment que l’alarme principale | Juge |
| Les ancres déclenchent après l’alarme principale, au plus tard à la fin de la fenêtre | Juge |
| L’alarme principale reste sans alarme des ancres à la fin de la fenêtre | Système |
La priorité donnée au juge a une raison précise : si sa référence a changé, l’alarme principale devient elle-même contestable. Lorsque les alarmes sont conjointes dans la fenêtre, le verdict « juge » suspend la confiance dans le diagnostic du système. Il reste compatible avec une dégradation simultanée des productions.
Allonger la fenêtre retarde l’attribution au système. Cela laisse davantage de temps aux ancres pour détecter un changement du juge, sans modifier l’événement initial de détection. Il faut donc distinguer le moment où une anomalie est signalée du moment où le protocole lui attribue une origine.
Le contrôle statistique des fausses alertes reste conditionnel : en l’absence de changement du juge, la moyenne de l’écart aux humains, compte tenu des observations passées, doit correspondre à la référence initiale. Le mécanisme permet d’examiner les résultats au fil du suivi sous ces hypothèses ; il ne transforme pas chaque verdict en certitude causale.
5. Que montrent les expériences et leurs limites ?
Les expériences montrent que l’attribution dépend du changement de juge étudié et du réglage des ancres. Dans sa prépublication du 13 juin 2026, Li utilise HelpSteer2, consacré à l’évaluation de réponses, et TL;DR, consacré à des résumés. Les annotations humaines de ces jeux fournissent les références fixes. Les essais de suivi sont simulés à partir de notes préalablement collectées et conservées.
L’étude examine notamment un changement de modèle présenté par Li comme plus indulgent et une consigne plus stricte appliquée au même modèle. Le suivi principal cherche une baisse de qualité. La consigne plus sévère met directement à l’épreuve le risque de confondre changement de juge et régression du système.
Pour ce second scénario sur HelpSteer2, le résumé de Li du 13 juin 2026 rapporte une attribution correcte avec le verdict « juge » dans 110 essais sur 120, avec une fenêtre de garde de 300 positions. Ce total réunit les situations de dérive du juge seule et de dérives simultanées. La configuration décrite dans le texte intégral mobilise 200 ancres, au rythme d’une évaluation d’ancre pour cinq éléments du flux principal. Ces paramètres décrivent l’expérience et ne prescrivent ni l’effectif ni le délai d’un déploiement.
Une autre limite concerne les thèmes. Le suivi des ancres agrège les écarts par critère et par direction, sans dimension thématique. Sa sensibilité diminue donc face à un juge qui change seulement sur une catégorie de contenus. Pour une transposition, il est utile d’examiner la couverture des thèmes sensibles.
6. Quand faut-il renouveler les références ?
Les références doivent être réexaminées quand le standard de qualité qu’elles représentent évolue. Dans la discussion de sa prépublication du 13 juin 2026, Li souligne que des annotations humaines figées peuvent devenir conceptuellement obsolètes. Le suivi détecte toujours un désaccord avec les ancres, mais son interprétation comme dérive du juge devient moins solide.
Le renouvellement répond à cette difficulté en faisant réannoter les contenus selon le standard actuel, puis en établissant une nouvelle référence initiale. Il doit rester explicite : conserver une ancre pendant une période de surveillance et organiser sa révision entre périodes sont des opérations compatibles.
À partir de cette limite, TW3 recommande une gouvernance des ancres qui attribue à un responsable métier la validation des critères et de leurs changements. La fiche de référence devrait conserver le périmètre couvert, la version des contenus, les annotations et la raison d’une éventuelle révision. La décision de renouveler le jeu gagne à distinguer un changement de standard d’un simple désaccord ponctuel avec le juge.
La revue peut également examiner les thèmes devenus importants dans les productions et leur présence dans le jeu d’ancres. Une alerte attribuée au juge appelle une vérification de celui-ci et de sa référence avant de rétablir la confiance dans le suivi principal. Ces dispositions constituent une proposition de méthode du cabinet, à valider sur chaque périmètre ; elles ne décrivent aucune nouvelle expérimentation TW3.
FAQ
Une baisse de score désigne-t-elle forcément le système ?
Elle peut aussi provenir du juge qui attribue la note. L’étude TW3 observe des variations sur des présentations inchangées ; le protocole de Li ajoute un suivi prospectif sur des références humaines pour examiner cette ambiguïté.
Pourquoi les ancres doivent-elles rester fixes ?
Leur stabilité empêche une évolution des productions nouvelles de modifier directement le flux de contrôle. Conserver également les annotations humaines permet de comparer les écarts successifs à la même référence initiale.
À quoi sert la fenêtre de garde ?
Elle laisse aux ancres le temps de déclencher après l’alarme principale, avant une attribution au système. Une fenêtre plus longue retarde cette attribution ; son réglage engage donc le délai de décision accepté.
Le protocole distingue-t-il deux dérives simultanées ?
Il rend le verdict « juge » lorsque les alarmes sont conjointes dans la fenêtre. Ce résultat suspend la confiance dans le diagnostic principal et laisse ouverte l’existence d’une régression du système.
Quand les ancres deviennent-elles obsolètes ?
Elles deviennent discutables lorsque les critères humains de qualité ont évolué. Une réannotation et une nouvelle référence initiale permettent alors de reprendre le suivi sur le standard révisé.
Pour aller plus loin
- Changer de juge LLM : organiser une campagne de raccordement des notes.
- Tester chaque jour un système d’IA : comprendre la validité séquentielle.
- Quels documents faire annoter pour valider un juge LLM ?.
Sources
- Yitao Li, Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines, prépublication déposée sur arXiv le 13 juin 2026. Texte intégral, notamment les sections consacrées aux ancres, aux expériences et aux limites, ainsi que les annexes sur les preuves et la reproductibilité ; consulté le 9 octobre 2026.
- Ludovic Gibert, Matis Despujols et André-Louis Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026. Texte intégral, comparaison avec Li, protocole et résultats de renotation ; consulté le 9 octobre 2026.