Documents notés dans une même session : corriger l’illusion d’un grand échantillon

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 8 novembre 2026.

En bref

Des documents notés dans une même session peuvent partager une variation de notation ; leur analyse doit tenir compte de cette dépendance. Une session désigne ici un contexte de travail commun au modèle chargé d’évaluer les documents. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet étudient 17 livrables construits à partir d’informations publiques et observent des déplacements de notes concentrés par session. Additionner toutes les notes comme autant d’observations indépendantes peut donner une impression excessive de précision. Pour décider si une modification du système mérite un déploiement, il faut donc examiner combien de tâches distinctes et de sessions soutiennent le résultat. La méthode proposée ici consiste à organiser cette collecte avant de calculer l’incertitude du gain.

1. Qu’est-ce qu’une observation indépendante ?

Une observation indépendante apporte une information dont les variations ne dépendent pas de celles des autres observations retenues dans le calcul. Cette hypothèse doit correspondre à la manière dont les données ont été recueillies.

Dans sa prépublication déposée sur arXiv le 1er novembre 2024, Evan Miller raisonne sur des questions tirées d’une population plus vaste de questions possibles. L’objectif est d’estimer une capacité au-delà du questionnaire exécuté. Il distingue le choix des questions et la variabilité des réponses produites sur une question donnée. Répéter cette réponse peut mieux renseigner sa variabilité, sans élargir la population de tâches observées.

Pour transposer cette distinction à une évaluation documentaire, nous proposons le vocabulaire suivant :

Le juge LLM est le modèle de langage chargé d’attribuer les notes. Une nouvelle note sur une version inchangée constitue une répétition de mesure. La pseudo-réplication désigne ici le fait de compter des mesures dépendantes comme autant d’observations indépendantes. Miller montre notamment pourquoi regrouper toutes les réponses répétées dans un calcul qui les suppose indépendantes fausse l’estimation de l’incertitude.

2. Comment un contexte partagé crée-t-il une dépendance ?

Un contexte partagé peut faire varier ensemble les notes de plusieurs documents. La présence de ce mouvement commun suffit à justifier un examen de la dépendance, même lorsque son mécanisme reste incertain.

Dans l’étude de Gibert, Despujols et Rochet déposée sur arXiv le 30 septembre 2026, chaque session évalue un groupe de documents. Dans les paires de répétitions à groupes fixes examinées, les auteurs observent qu’une seule session concentre l’essentiel du déplacement des notes. Ils décrivent ainsi un décalage que semblent partager les documents évalués ensemble.

Le protocole prévoit pourtant des sessions neuves pour les juges agents, sans mémoire des autres sessions. Cela distingue l’isolement entre sessions de la dépendance possible à l’intérieur d’une session. Tous les documents d’un groupe restent soumis au même contexte de notation.

Le papier mentionne aussi de possibles effets de contraste entre documents dans les évaluations sur texte seul. C’est une hypothèse de mécanisme ; les déplacements observés ne permettent pas de lui attribuer la dérive. Pour une équipe de validation, la conséquence pratique est de conserver la composition des sessions afin de pouvoir rechercher ces mouvements communs.

Les comparaisons de systèmes conduites dans des sessions séparées présentent une difficulté supplémentaire, explicitement signalée par les auteurs : la différence entre systèmes se mêle au décalage entre sessions. Un gain moyen doit donc être lu avec son plan de notation.

3. Que change une erreur type par groupes ?

Une erreur type par groupes tient compte des variations communes à l’intérieur des groupes lorsqu’elle estime l’incertitude de la moyenne. L’erreur type désigne la variabilité estimée de cette moyenne entre des collectes comparables.

Dans son texte déposé sur arXiv le 1er novembre 2024, Miller ajoute au calcul les relations entre les écarts des observations d’un même groupe. La covariance décrit cette variation conjointe : lorsque plusieurs notes s’écartent ensemble dans le même sens, elles apportent moins d’information indépendante que ne le suggère leur simple décompte.

Le calcul conserve la moyenne observée et modifie l’estimation de son incertitude. Si les notes au sein des groupes sont positivement corrélées, l’incertitude peut être plus élevée que dans un calcul qui les traite séparément. Dans le cas limite où les notes d’un groupe sont parfaitement corrélées, Miller décrit ce groupe comme une seule observation indépendante. À l’autre extrême, l’absence de corrélation retrouve le cas non groupé.

La condition décisive est l’indépendance des groupes eux-mêmes, posée explicitement par Miller. Déclarer la session comme groupe constitue donc une hypothèse à justifier par le protocole. Il faut aussi examiner la dépendance liée aux documents réutilisés entre passes, que l’étude TW3 signale dans ses limites de calcul.

Pour comparer des modèles sur les mêmes questions, Miller propose de calculer les différences question par question, puis une erreur type groupée sur ces différences. Dans la transposition documentaire proposée ici, l’appariement conserve le lien entre les résultats d’une même tâche ; le regroupement doit correspondre aux dépendances du plan de notation.

4. Comment organiser les sessions de comparaison ?

Il faut décider avant la collecte ce qui restera fixe et ce qui changera entre les passes. La prépublication TW3 du 30 septembre 2026 distingue précisément les répétitions à groupes fixes des sessions dont les documents sont réassignés.

À groupes fixes, les répétitions mesurent une variabilité à contexte de regroupement conservé. La réassignation fait aussi varier la composition et l’ordre des documents. Les auteurs précisent que les estimations de changement détectable issues de ces protocoles ne sont pas interchangeables.

Pour une nouvelle campagne, TW3 recommande de séparer ces objectifs dans le protocole. Commencer par des répétitions à composition conservée aide à caractériser la notation dans ce cadre. Prévoir ensuite des réassignations permet d’examiner la sensibilité à d’autres regroupements. Ces étapes constituent une proposition de collecte, sans résultat supplémentaire attribué à l’étude.

La préparation peut prendre la forme suivante :

• Affecter aléatoirement les documents aux sessions prévues pour la réassignation, puis conserver le tirage et l’ordre de présentation.
• Équilibrer la présence des conditions comparées dans les sessions, afin d’examiner les écarts au sein d’un contexte commun.
• Garder les versions des documents et la configuration du juge identifiables pour chaque passe.
• Archiver les sessions effectivement exécutées, y compris les notes manquantes, avant de calculer les résultats.

L’étude comporte une comparaison en sessions mixtes qui réunit les versions concurrentes d’un même livrable. Ce dispositif retire le décalage entre sessions pour cette comparaison particulière. Il reste utile de contrôler la sensibilité à la composition, puisque la présence conjointe des documents peut elle-même modifier le contexte du jugement.

5. Pourquoi quelques sessions limitent-elles l’inférence ?

Quelques sessions fournissent peu d’information sur la variabilité entre groupes, même lorsqu’elles contiennent beaucoup de notes. L’inférence consiste ici à tirer des conclusions au-delà des seules observations recueillies.

Dans leur prépublication du 30 septembre 2026 sur arXiv, Gibert, Despujols et Rochet soulignent que leurs 17 livrables, répartis en 4 sessions avec 2 paires de répétitions, limitent cette inférence. Les intervalles calculés au niveau des documents ignorent la dépendance de session ; les analyses de sensibilité au niveau des sessions ont une résolution limitée. Les tests restent exploratoires.

Les auteurs demandent davantage de passes et de sessions randomisées indépendamment pour stabiliser les estimations de variance. Pour une DSI, cela conduit à distinguer deux décisions de collecte : enrichir les tâches couvertes et multiplier les contextes de notation indépendants. Ajouter des documents dans les groupes existants ne répond pas, à lui seul, à la seconde question.

Une correction statistique tient compte d’une dépendance selon des hypothèses explicites ; la précision disponible reste liée à la collecte. Il est utile de fixer en amont le gain qui aurait une importance opérationnelle, puis de vérifier si le protocole peut renseigner un écart de cet ordre. Aucun effectif universel de sessions ne découle de ces travaux.

Enfin, la précision des notes et leur validité métier sont distinctes. L’étude TW3 rappelle que l’accord entre juges ne démontre ni l’exactitude des évaluations ni l’acceptabilité professionnelle des documents.

6. Que doit afficher le tableau de résultats ?

Le tableau doit séparer la couverture des tâches, l’organisation des sessions et les répétitions, puis nommer la méthode d’incertitude employée. Dans sa prépublication du 1er novembre 2024 sur arXiv, Miller propose d’afficher le nombre de questions et de groupes avec les erreurs types groupées, ainsi que les différences appariées lors des comparaisons.

Le schéma ci-dessous est une proposition du cabinet pour transposer cette pratique à une campagne documentaire. Il définit les champs à renseigner, sans valeurs de démonstration.

Avant de retenir le gain comme argument de déploiement, la direction peut demander à l’équipe de montrer quels documents ont partagé une session et quelles variations ont été introduites entre passes. Elle doit pouvoir relier la différence annoncée aux paires de documents disponibles.

Le rapport devrait aussi préciser la portée de la conclusion : résultat descriptif sur le corpus, analyse exploratoire ou estimation fondée sur un plan permettant une généralisation. Cette qualification oblige à rapprocher l’incertitude affichée du mode réel de collecte.

FAQ

Des notes répétées sont-elles de nouvelles tâches ?
Non, elles renseignent la variabilité de la mesure sur les tâches déjà sélectionnées. Une nouvelle passe sur une version inchangée conserve le même livrable ; le rapport doit distinguer ces répétitions de l’ajout de tâches.

Une erreur type groupée suppose-t-elle des groupes indépendants ?
Oui, c’est l’hypothèse du cadre présenté dans la prépublication de Miller déposée sur arXiv le 1er novembre 2024. La dépendance à l’intérieur des groupes entre dans le calcul, tandis que l’indépendance entre groupes doit être défendue par le protocole.

Faut-il conserver les mêmes groupes à chaque passe ?
Cela dépend de la variabilité recherchée. L’annexe méthodologique de la prépublication TW3 déposée sur arXiv le 30 septembre 2026 distingue le contexte conservé des sessions réassignées, qui font aussi varier le regroupement et l’ordre ; ces résultats doivent rester séparés dans la restitution.

Une correction statistique suffit-elle avec peu de sessions ?
Elle adapte le calcul à la dépendance retenue, mais laisse subsister le manque d’information entre sessions. Les auteurs de la prépublication TW3 déposée sur arXiv le 30 septembre 2026 qualifient leurs tests statistiques d’exploratoires et appellent à davantage de sessions et de passes randomisées indépendamment.

Quel effectif afficher dans un rapport ?
Présentez les tâches distinctes, les sessions et les passes dans des champs séparés. Ajoutez le nombre de comparaisons appariées disponibles et le niveau auquel l’incertitude a été calculée, selon le schéma de restitution proposé ici.

Pour aller plus loin

• Bootstrap apparié : construire un intervalle sur le gain d’un système d’IA
• Combien de tâches faut-il pour comparer deux systèmes d’IA ?
• Répéter la génération ou la notation : séparer deux sources de variabilité

Sources

• Gibert, Despujols et Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, texte intégral, consulté le 9 octobre 2026.
• Evan Miller, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations, prépublication déposée sur arXiv le 1er novembre 2024, texte intégral, consulté le 9 octobre 2026.