Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 29 octobre 2026.
En bref
Pour comparer des réponses en aveugle, masquez leur origine et leur historique de révision, y compris la mention « version améliorée ». Un juge LLM est un modèle de langage chargé de noter ou de départager des réponses selon des critères définis. Dans leur prépublication déposée sur arXiv le 3 octobre 2024, Ye et ses coauteurs étudient notamment l’influence de la connaissance du processus de révision sur cette évaluation. L’étude de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026, masque l’auteur et le cycle de production des documents dans un corpus de 17 livrables construits à partir d’informations publiques. Nous recommandons de comparer les mêmes documents avec et sans information de révision, en répétant les évaluations pour apprécier leur stabilité. Pour une direction qui doit valider un changement de système, ce contrôle aide à distinguer une préférence sensible à l’historique d’un progrès confirmé par une revue métier.
1. Quelle information révèle le mot « améliorée » ?
Le mot « améliorée » annonce un jugement de qualité en même temps qu’un historique de travail. Une version révisée a fait l’objet d’une intervention ; son appréciation doit encore porter sur ce que cette intervention a changé dans le document.
Dans la prépublication de Ye et ses coauteurs déposée sur arXiv le 3 octobre 2024, révisée le 4 octobre 2024, le biais lié à la connaissance de la révision, nommé refinement-aware bias, concerne précisément cette information supplémentaire. Les auteurs comparent les notes attribuées à une réponse initiale, à une réponse révisée et à cette réponse révisée accompagnée de l’historique de conversation. Leur cadre CALM sert à examiner la sensibilité des jugements à des modifications contrôlées de ce qui est présenté au modèle.
Le point à retenir pour une équipe de validation est la distinction entre les objets comparés. Confronter une réponse initiale à sa révision renseigne sur la préférence du juge entre des contenus différents. Montrer la même réponse révisée avec ou sans son historique permet d’examiner l’influence de cet historique. Une campagne qui mélange ces comparaisons rend l’interprétation des notes plus difficile.
L’expérience décrite par Ye et ses coauteurs porte sur l’historique de révision. Tester seulement les mots « version améliorée » constitue donc une transposition méthodologique, proposée ici par le cabinet. Son résultat reste à mesurer sur les documents et les juges retenus par l’organisation.
2. Comment construire une comparaison en aveugle ?
Une comparaison en aveugle désigne ici une évaluation dans laquelle le juge reçoit les documents sans indication explicite de leur auteur ni de leur version. Le responsable de l’expérience conserve séparément les informations nécessaires pour rattacher chaque verdict au bon document.
Dans le protocole de Gibert, Despujols et Rochet, daté du 30 septembre 2026, les présentations reçoivent de nouvelles lettres aléatoires à chaque campagne. Le juge voit les diapositives et le texte extrait sans connaître leur auteur ni leur cycle de production. Les sessions des juges fonctionnant comme des agents sont neuves, équipées d’outils de lecture de fichiers et sans mémoire des autres sessions. Ce dispositif fournit un appui de conception ; son efficacité propre contre l’effet d’une étiquette de révision reste à mesurer.
Dans la méthode proposée ici, préparez une copie d’évaluation avec des identifiants neutres. Retirez les mentions d’auteur, les dates de version et les statuts de révision qui servent seulement à retracer la fabrication. Conservez les dates nécessaires à la compréhension du fond, notamment celles des informations analysées. La distinction porte sur la fonction de l’information : le juge doit disposer de ce qui permet d’évaluer la réponse.
Gardez la correspondance entre identifiants et versions dans un registre séparé des fichiers accessibles au juge. Archivez aussi la copie effectivement envoyée. Cette précaution permet au relecteur de vérifier ce qui a été masqué et de retrouver le document associé à chaque note.
3. Comment tester l’effet de l’étiquette de version ?
Le test proposé compare des documents identiques, tantôt accompagnés d’une information de révision, tantôt présentés sous des identifiants neutres. Il s’inspire du contrôle des perturbations décrit dans la prépublication de Ye et ses coauteurs, révisée le 4 octobre 2024, tout en isolant un objet plus étroit : l’étiquette de version.
Définissez d’abord l’information testée. Une mention de révision, le nom de l’auteur et l’historique complet de conversation constituent des interventions différentes. Pour attribuer un écart à la mention de révision, faites varier cette seule mention. L’historique complet pourra faire l’objet d’une campagne distincte.
| Condition proposée | Information visible | Ce que la comparaison examine |
|---|---|---|
| Masquée | Identifiants neutres, sans statut de version | Préférence entre les documents sans historique explicite |
| Informée | Mêmes documents avec leur statut de révision | Changement de préférence associé à cette information |
| Répétée à l’identique | Même condition et mêmes fichiers | Variabilité des jugements sans nouvelle intervention |
Équilibrez la place des versions dans les présentations successives : chaque version doit pouvoir apparaître à chaque position prévue. Répétez également les conditions masquée et informée. CALM distingue la stabilité après perturbation de la stabilité entre jugements répétés à conditions identiques ; cette distinction évite d’attribuer automatiquement tout changement de verdict à l’étiquette.
Préparez avant le lancement une feuille de résultats par document, condition et répétition. Conservez les notes par critère, la préférence éventuelle et la justification. Le compte rendu devra comparer les écarts entre conditions à la dispersion observée dans les répétitions. Cette restitution devra préciser les documents évalués et les conditions d’exécution pour que la direction puisse apprécier la portée du contrôle.
4. Que faut-il conserver identique entre les conditions ?
Le contenu des réponses, la grille et la configuration d’évaluation doivent rester identiques pour examiner l’information de révision. L’ordre de présentation est équilibré selon le plan prévu et consigné avec chaque verdict.
La prépublication de Gibert, Despujols et Rochet du 30 septembre 2026 signale que les comparaisons entre sessions distinctes mêlent les différences entre systèmes aux décalages entre sessions. Elle décrit aussi des évaluations répétées de fichiers strictement identiques. Ces précautions invitent à documenter les conditions d’exécution avec autant de soin que les fichiers évalués.
Dans le protocole proposé, figez la question d’origine, les réponses et la grille avant les appels au juge. Enregistrez la version du modèle lorsqu’elle est disponible, ses instructions, les outils autorisés, les réglages et le format de réponse demandé. Reprenez le même traitement des fichiers dans chaque condition : une extraction de texte différente introduirait une autre modification.
Ouvrez des sessions neuves selon la même procédure pour éviter qu’une évaluation précédente fournisse elle-même un historique au juge. Distribuez les conditions entre les sessions plutôt que de réserver systématiquement une configuration à la condition informée. Une session neuve et une configuration identique sont des précautions complémentaires ; les répétitions restent nécessaires pour examiner la variation des verdicts.
Si le texte est corrigé pendant la campagne, archivez cette correction comme une nouvelle version et recommencez sa comparaison. Changer à la fois le contenu et son étiquette empêche de séparer leurs contributions dans le résultat observé.
5. Pourquoi masquer les labels ne supprime-t-il pas tous les indices ?
Un document conserve des caractéristiques de style, de structure et de longueur après le retrait de ses indications de provenance. Le masquage explicite couvre une partie des informations présentées au juge.
Le passage normalisé du contrôle sur texte seul de Gibert, Despujols et Rochet, dans leur prépublication du 30 septembre 2026, retire notamment des pages de sommaire, des pieds de page de confidentialité et des marqueurs de gabarit. Les auteurs précisent que les formulations, la structure et la longueur restent différentes. Ils présentent donc le contrôle de la présentation comme partiel.
Pour le test d’étiquette proposé ici, conservez ces caractéristiques du document à l’identique entre les conditions informée et masquée. Les uniformiser pendant le test changerait aussi l’objet soumis au juge. Une vérification préalable des fichiers peut néanmoins repérer un nom de version dans un en-tête, un chemin de fichier visible ou une consigne jointe : ces éléments appartiennent au périmètre du masquage explicite.
Une campagne complémentaire peut examiner l’effet d’une transformation du texte ou du gabarit, avec son propre protocole. Cette question fait l’objet de la fiche Évaluer une présentation sur le texte seul : ce que ce contrôle isole réellement. La séparation des expériences permet de préciser quelle intervention accompagne chaque écart de jugement.
6. Comment interpréter une préférence après masquage ?
Une préférence après masquage décrit le choix du juge dans les conditions testées. Sa portée dépend ensuite de sa stabilité et de son rapport à la qualité attendue par le métier.
La prépublication de Gibert, Despujols et Rochet du 30 septembre 2026 compare les juges entre eux et avec leurs propres évaluations, sans corpus de référence noté par des professionnels du métier. Les auteurs rappellent que l’accord entre juges ne démontre ni l’exactitude ni l’acceptabilité professionnelle. Leurs tests statistiques sont exploratoires.
Pour restituer la campagne proposée, séparez la préférence en condition masquée, son évolution lorsque l’étiquette de révision devient visible et sa variation entre répétitions identiques. Une préférence qui change avec l’étiquette appelle une investigation sur cette sensibilité. Une préférence stable fournit un élément de robustesse limité au contrôle effectué.
Faites ensuite examiner les documents par des personnes compétentes pour décider de leur usage. Demandez-leur d’identifier les corrections nécessaires, de vérifier les faits et d’apprécier l’adéquation au besoin. Rapprochez leurs observations des critères sur lesquels le juge a favorisé une version. Cette revue donne à la direction des éléments pour accepter une révision, demander des corrections ou poursuivre l’expérimentation.
FAQ
Faut-il qualifier une version d’améliorée devant le juge ?
Pour une comparaison en aveugle, utilisez des identifiants neutres. Réservez l’information de révision à une condition expérimentale séparée lorsque vous voulez mesurer son influence.
Comment tester l’effet de l’étiquette de version ?
Présentez les mêmes réponses avec et sans l’étiquette étudiée, en équilibrant leur ordre. Répétez les évaluations à conditions identiques pour examiner la variation habituelle du juge avant d’interpréter l’écart entre conditions.
Peut-on modifier le texte en même temps que son label ?
Pour isoler l’effet de l’étiquette, conservez le texte inchangé. Une correction du contenu crée une comparaison différente, à traiter séparément et à archiver comme telle.
Le masquage efface-t-il tous les indices de provenance ?
Les caractéristiques du contenu peuvent subsister après le retrait des informations explicites. Vérifiez les noms de fichiers et les en-têtes accessibles au juge, puis documentez précisément le périmètre du masquage réalisé.
Une préférence en aveugle prouve-t-elle la qualité métier ?
Elle renseigne sur le jugement du modèle dans un cadre donné. Une revue humaine compétente reste nécessaire pour apprécier l’exactitude du document et son acceptabilité dans le travail auquel il est destiné.
Pour aller plus loin
- Biais de position : contrôler l’ordre des réponses présentées à un juge LLM
- Auto-préférence des juges LLM : comment tester un conflit entre génération et évaluation
- Évaluer une présentation sur le texte seul : ce que ce contrôle isole réellement
Sources
- Ye et ses coauteurs, Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge, prépublication déposée sur arXiv le 3 octobre 2024, révisée le 4 octobre 2024, consulté le 9 octobre 2026. Texte intégral de la version étudiée.
- Gibert, Despujols et Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, consulté le 9 octobre 2026. Texte intégral de la version étudiée.