Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 28 octobre 2026.
En bref
Le biais de position apparaît quand un évaluateur préfère une réponse parce qu’elle est placée avant ou après une autre, à contenu inchangé. Un « juge LLM » est une IA à laquelle on demande d’évaluer des réponses ; sa préférence peut peser sur le choix du système à retenir. Wang et ses coauteurs, dans une publication de l’ACL d’août 2024, étudient la permutation, qui consiste à inverser la place des mêmes réponses, puis la combinaison des notes obtenues dans chaque ordre. L’étude de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026, porte sur 17 livrables construits à partir d’informations publiques, avec un protocole qui masque leur provenance. Dans ses essais où les documents sont remélangés, leur ordre et les documents évalués ensemble changent à la fois : on ne peut donc pas attribuer les écarts au seul ordre de présentation. Pour décider, conservez le choix rendu dans chaque ordre afin de distinguer une préférence stable, une égalité et un désaccord à examiner.
1. Qu’est-ce qu’un biais de position ?
Un juge présente un biais de position lorsqu’il favorise une place dans la présentation des réponses. Un juge LLM est un modèle de langage auquel on demande d’évaluer un contenu : dans une comparaison par paires, il reçoit une question et les réponses concurrentes.
Dans Large Language Models are not Fair Evaluators, ACL, août 2024, Wang et ses coauteurs conservent les réponses et échangent leurs emplacements dans le même modèle de consigne. Ils observent des verdicts contradictoires selon l’ordre. La direction de la préférence varie entre les évaluateurs étudiés : favoriser systématiquement la première réponse serait donc une description trop étroite du phénomène.
L’objet testé doit rester précis. Inverser les réponses d’une paire modifie leur place relative. Changer les documents réunis dans une session modifie aussi l’ensemble auquel le juge les compare. Le protocole TW3 décrit dans la prépublication de septembre 2026 signale justement de possibles effets de contraste dans les sessions mixtes.
Pour préparer une évaluation, TW3 recommande de formuler la question expérimentale avant les appels au juge : cherche-t-on la sensibilité à l’ordre d’une paire, ou la sensibilité à son contexte documentaire ? Ces objets appellent des essais distincts. Le présent guide traite la permutation d’une paire.
2. Comment construire des comparaisons équilibrées ?
Une comparaison équilibrée expose chaque réponse à chacune des positions, en conservant la question et les textes. C’est le principe de la méthode d’équilibrage des positions décrite par Wang et ses coauteurs, ACL, août 2024 : à la présentation initiale s’ajoute une présentation inversée.
La transposition opérationnelle suivante est une proposition de méthode du cabinet. Figez les réponses avant l’évaluation : aucune reformulation, coupe ou correction ne doit accompagner leur déplacement. Conservez aussi la consigne, les critères, les références fournies et les paramètres du juge. Ouvrez des sessions indépendantes pour éviter de montrer à l’évaluateur le verdict qu’il vient de produire sur la même paire.
Le journal d’essai devrait relier chaque appel à la question, à l’identifiant durable de chaque réponse et à sa position affichée. Il devrait également conserver la version du juge, les paramètres, la consigne exacte et la sortie brute. La provenance technique des réponses peut rester dans ce journal sans apparaître au juge. Le protocole TW3 de septembre 2026 emploie ainsi de nouvelles lettres aléatoires et masque l’auteur comme le tour de développement.
Il faut enfin distinguer l’identité du texte de son étiquette de présentation. Au dépouillement, rattachez le verdict au texte effectivement préféré. Une préférence pour le premier emplacement après inversion peut désigner une autre réponse. Cette correspondance est indispensable pour comparer les verdicts sans confondre une lettre, une place et un contenu.
3. Que mesure un renversement de préférence ?
Un renversement mesure un changement du choix entre les mêmes réponses après permutation. Il décrit la stabilité de l’évaluation ; l’exactitude du contenu demande une vérification propre.
Dans leur prépublication déposée sur arXiv le 9 juin 2023, révisée le 24 décembre 2023, Zheng et ses coauteurs distinguent une préférence et une égalité. Leur procédure conservatrice ne déclare une victoire que si la même réponse est préférée dans les ordres inversés. Une incohérence est alors traitée comme une égalité dans le résultat agrégé.
Pour une équipe de validation, nous proposons de conserver une classification plus détaillée dans les traces, avant cette agrégation :
| Verdicts rapprochés par identité de réponse | Qualification proposée | Information conservée |
|---|---|---|
| Même réponse préférée dans chaque ordre | Préférence stable | Identité de la réponse retenue |
| Préférence pour une réponse, puis pour sa concurrente | Renversement | Sens de chaque préférence |
| Égalité dans chaque ordre | Égalité stable | Absence de préférence exprimée |
| Préférence dans un ordre, égalité dans l’autre | Désaccord avec égalité | Différence entre hésitation et renversement |
Cette convention de suivi ne modifie pas les résultats des publications. Elle évite de fusionner, dans le dossier de décision, une égalité répétée et une contradiction entre préférences. Si vous calculez un taux de désaccord, précisez les catégories comptées au numérateur et les paires effectivement évaluées au dénominateur.
Dans leur publication ACL d’août 2024, Wang et ses coauteurs utilisent un taux de conflit entre les résultats obtenus après permutation. Pour attribuer une divergence à l’ordre dans votre propre dispositif, prévoyez aussi, comme contrôle de méthode, des répétitions à ordre inchangé. Elles permettent d’examiner la variabilité des appels séparément de la permutation. Le renversement observé reste un signal à interpréter dans les conditions de l’essai.
4. Qu’apporte l’agrégation des positions ?
L’agrégation donne à chaque réponse une représentation équilibrée des positions dans son score final. Dans la méthode de Wang et ses coauteurs, ACL, août 2024, cet équilibrage accompagne une procédure qui demande au modèle de produire les éléments de son évaluation avant la note, puis échantillonne plusieurs évaluations.
Les notes d’une même réponse, obtenues dans les positions inversées, sont réunies et moyennées. La réponse dont la moyenne est supérieure est retenue. Cette règle diffère de celle de Zheng : une moyenne peut départager des réponses même si certains verdicts individuels divergent. Il convient donc de choisir la règle d’agrégation avant d’observer le résultat.
Wang et ses coauteurs comparent leurs méthodes à une annotation humaine de 80 questions du banc d’essai Vicuna. Les annotations portent sur les réponses de ChatGPT et Vicuna-13B, examinées selon leur utilité, leur pertinence, leur exactitude et leur niveau de détail. Les auteurs constatent un meilleur alignement avec les jugements humains pour leurs stratégies de calibration. Ce résultat concerne les évaluateurs, les réponses et les réglages de cette expérience.
Pour une transposition métier, conservez les notes élémentaires à côté de la moyenne. Fixez également le traitement des égalités et des sorties inexploitables avant le lancement. Un responsable de validation pourra ainsi voir si le choix final repose sur une préférence répétée ou sur la compensation de notes divergentes. Cette lecture complète le score agrégé et prépare une éventuelle relecture.
5. Quand faut-il solliciter un humain ?
Une préférence instable peut servir à sélectionner les cas à relire. Wang et ses coauteurs, ACL, août 2024, proposent un indicateur de dispersion des verdicts obtenus sur les positions équilibrées : il tient compte de la répartition entre victoire, égalité et défaite. Une dispersion élevée signale, dans leur méthode, un besoin plus probable de correction humaine.
Leur sélection s’appuie sur l’ensemble des évaluations répétées. Elle dépasse donc le simple repérage d’un renversement isolé. Après sélection, les annotateurs examinent les cas et leurs avis sont réunis selon une règle majoritaire. Il faut distinguer cette procédure publiée d’une règle locale qui transmettrait automatiquement chaque contradiction à un responsable métier.
Pour adapter le dispositif, TW3 recommande de préciser qui relit, avec quelles pièces et selon quels critères. La personne chargée de l’arbitrage devrait recevoir la question d’origine, les réponses et les références utiles à leur vérification. Elle devrait pouvoir consigner une préférence, une égalité ou la nécessité d’obtenir une pièce supplémentaire. Le dossier conserverait ensuite le lien entre cet arbitrage et les verdicts automatiques.
La sélection peut aussi intégrer, comme choix de gouvernance, la conséquence métier d’une erreur. Un cas engageant une décision sensible peut justifier une relecture même si le juge reste stable. Cette politique doit être définie par l’équipe responsable du processus.
6. Quels biais cette procédure laisse-t-elle ouverts ?
Permuter les positions conserve la longueur, le style et les éventuelles erreurs de chaque réponse. La procédure teste donc une dimension précise de leur présentation.
Dans la prépublication de Zheng et ses coauteurs, déposée le 9 juin 2023 et révisée le 24 décembre 2023, le biais de verbosité désigne la préférence pour une réponse plus longue, même lorsqu’elle apporte moins de clarté ou d’exactitude. Les auteurs documentent également des difficultés de jugement sur des questions de calcul et de raisonnement. Une préférence stable entre les ordres reste compatible avec ces difficultés.
L’ancrage TW3 apporte une autre limite. Gibert, Despujols et Rochet, septembre 2026, précisent que leur seconde passe textuelle change à la fois l’ordre aléatoire et l’échantillonnage du juge. L’écart entre les passes ne permet donc pas d’isoler l’effet du retrait des marques de gabarit. Les comparaisons en session partagée peuvent également comporter des effets de contraste entre documents.
Dans une transposition du protocole, traitez séparément la longueur, la présentation et les preuves factuelles. Si vous modifiez le style ou le groupe de documents, consignez cette intervention comme une condition différente. La permutation seule doit garder les textes inchangés pour que son interprétation reste lisible.
Enfin, la prépublication TW3 rappelle que l’accord entre juges ne démontre ni exactitude ni acceptabilité professionnelle. La stabilité entre les ordres doit, elle aussi, être distinguée de l’exactitude, comme le soulignent les travaux de Zheng cités plus haut. La décision de retenir une réponse demande toujours des critères métier explicites et les vérifications correspondantes. Le contrôle de position documente la stabilité du choix dans un cadre défini.
FAQ
Changer l’ordre peut-il changer le verdict ?
Oui : Wang et ses coauteurs, ACL, août 2024, l’observent dans leurs comparaisons. Le test consiste à déplacer les mêmes réponses ; changer aussi le groupe de documents introduit une autre modification du contexte.
Tout renversement de préférence est-il une erreur factuelle ?
Un renversement indique que le choix entre les réponses a changé. L’exactitude factuelle se vérifie à partir des pièces de référence ; elle ne se déduit pas de ce seul désaccord.
L’agrégation des positions élimine-t-elle tous les biais ?
Elle équilibre la contribution des positions au résultat selon une règle définie. La prépublication de Zheng et ses coauteurs, arXiv, juin 2023, révisée en décembre 2023, distingue aussi la verbosité et les limites du raisonnement, qui demandent leurs propres contrôles.
Quand transmettre un désaccord à un humain ?
La méthode de Wang et ses coauteurs, ACL, août 2024, sélectionne les cas selon la dispersion des verdicts répétés. Pour un usage métier, fixez à l’avance les conditions de transmission et la personne habilitée à arbitrer, en tenant compte des conséquences de la décision.
Remélanger les sessions isole-t-il le seul effet de position ?
Dans la prépublication TW3 déposée sur arXiv le 30 septembre 2026, les sessions remélangées modifient à la fois le regroupement et l’ordre des documents. Les effets de contraste possibles conduisent à distinguer ces essais d’une permutation contrôlée au sein d’une paire.
Pour aller plus loin
- Biais de longueur : un juge LLM récompense-t-il le contenu ou la verbosité ?
- Notation individuelle ou comparaison par paires : choisir le format d’un juge LLM
- Quand un juge LLM doit-il s’abstenir et transmettre le cas à un humain ?
Sources
- Wang et ses coauteurs, ACL, Large Language Models are not Fair Evaluators, août 2024, texte intégral, consulté le 9 octobre 2026.
- Zheng et ses coauteurs, arXiv, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, prépublication déposée le 9 juin 2023, révisée le 24 décembre 2023, texte intégral, consulté le 9 octobre 2026.
- Gibert, Despujols et Rochet, arXiv, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée le 30 septembre 2026, texte intégral, consulté le 9 octobre 2026.