Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 6 novembre 2026.
En bref
L’analyse de Bland-Altman montre de combien les notes de deux évaluateurs diffèrent sur chaque document, pour examiner si l’un peut remplacer l’autre. Elle sépare le décalage moyen entre évaluateurs de la variation des écarts selon les documents, suivant la méthode de Bland et Altman, publiée dans The Lancet en 1986. Un juge LLM est ici un modèle de langage chargé de noter un document selon une grille. Gibert, Despujols et Rochet étudient 17 livrables, exercices construits sur des informations publiques, dans leur prépublication déposée sur arXiv le 30 septembre 2026. Leurs comparaisons de notes motivent une question de validation : quels écarts une décision métier peut-elle accepter lors d’un changement de juge ? La transposition proposée ici consiste à fixer cette tolérance, puis à examiner les différences document par document.
1. Quelle question pose une analyse de Bland-Altman ?
Elle demande si les différences entre des mesures sont assez faibles pour permettre de remplacer une méthode par l’autre dans l’usage prévu. L’interchangeabilité désigne cette possibilité de substitution au regard d’une tolérance définie pour la décision.
Dans leur article de 1986, Bland et Altman distinguent l’accord entre mesures de leur corrélation. Une corrélation décrit la force d’une relation : des valeurs peuvent évoluer ensemble tout en restant éloignées. Pour apprécier l’accord, il faut regarder la distance entre les mesures et décider si cette distance pose un problème pratique. Les auteurs demandent idéalement de fixer l’écart acceptable avant la comparaison.
Pour transposer cette démarche aux notes de documents, TW3 recommande de partir de la décision que la note accompagne. S’agit-il de sélectionner les documents à relire, de suivre leur amélioration ou d’autoriser leur transmission ? Écrire la tolérance oblige le responsable de validation à préciser les conséquences d’un écart. Le niveau acceptable relève de cet usage ; les valeurs des exemples cliniques de Bland et Altman restent propres à leur contexte.
Il est utile de rédiger cette règle avant de regarder les résultats. Le compte rendu pourra alors rapprocher une exigence métier et une mesure observée, avec un périmètre explicite.
2. Comment former les différences appariées ?
Chaque point associe les notes attribuées au même document : sa position horizontale est leur moyenne, sa position verticale leur différence. C’est le principe du graphique proposé par Bland et Altman en 1986.
Une paire désigne les mesures réunies pour un même objet. Pour la transposition aux juges LLM, nous proposons le tableau de préparation suivant. Ce tableau définit les informations à réunir avant le tracé.
| Champ | Contenu à conserver | Utilité pour la lecture |
|---|---|---|
| Document | Identifiant et version évaluée | Apparier les notes du même contenu |
| Note A et note B | Totaux sur la même échelle | Garder les valeurs d’origine |
| Différence | Note B moins note A | Donner un sens constant au signe |
| Moyenne | Moyenne arithmétique des notes A et B | Situer l’écart dans la plage de notation |
| Conditions | Juge, configuration et session | Retrouver le contexte d’évaluation |
Une différence positive signifie ainsi que B note plus haut que A. Changer cet ordre inverse le signe ; il faut donc l’indiquer dans la légende. Bland et Altman choisissent la moyenne pour l’axe horizontal : placer l’écart face à une seule des mesures introduirait une relation artificielle, puisque cette mesure intervient déjà dans la différence.
Dans un protocole de validation, verrouillez aussi la grille et le contenu transmis aux juges. La prépublication de Gibert, Despujols et Rochet, déposée sur arXiv le 30 septembre 2026 compare notamment des passes sur des documents identiques et souligne le rôle possible des configurations. Le contexte de chaque paire appartient donc au dossier d’analyse.
3. Que révèle le biais moyen ?
Le biais moyen décrit le décalage global entre les mesures, avec le signe choisi pour calculer les différences. Selon Bland et Altman, en 1986, on l’estime par la moyenne des différences. L’écart-type des différences décrit leur dispersion autour de cette moyenne.
Le tableau 2 de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026 donne un ancrage concret. Dans la comparaison Opus/Sonnet du tour 5, la moyenne est de 75,0 pour Opus et de 86,8 pour Sonnet, soit un décalage moyen de +11,8 points de Sonnet par rapport à Opus. L’écart-type des différences vaut 6,28 points. La colonne correspond à la passe Sonnet de développement du 24 septembre, sur les mêmes documents. Ces valeurs caractérisent cette comparaison et ses conditions.
Le déplacement moyen et la dispersion répondent à des questions différentes. Le premier indique le niveau global auquel les notes se décalent. La seconde renseigne sur la variation de ce décalage entre documents. Dans la méthode de Bland et Altman, un biais constant peut être corrigé en retranchant sa valeur ; cette opération recentre les différences et laisse leur dispersion à examiner.
Une correction destinée à un autre protocole demanderait donc une validation propre. Les auteurs rapportent dans cette même prépublication que le décalage Sonnet initial ne s’est pas reproduit lors d’une nouvelle passe. La cause de cette variation entre passes reste indéterminée. Le nom du modèle ne suffit pas à transporter le correctif d’une campagne à l’autre.
4. Comment interpréter les limites d’accord ?
Les limites d’accord décrivent l’étendue attendue des différences individuelles sous les hypothèses de l’analyse. Dans la méthode de Bland et Altman de 1986, elles se calculent autour du biais moyen, en utilisant l’écart-type des différences.
Si ces différences suivent une distribution normale et ne varient pas systématiquement selon le niveau de mesure, les bornes usuelles sont le biais moyen moins et plus 1,96 fois cet écart-type. Elles correspondent à environ 95 % des différences sous ce modèle. La normalité concerne les différences : les notes de chaque juge prises séparément peuvent suivre une autre distribution.
La lecture exige de distinguer plusieurs objets.
| Objet | Question traitée |
|---|---|
| Biais moyen | Quel est le décalage moyen entre les méthodes ? |
| Limites d’accord | Quelle étendue de différences individuelles attend-on ? |
| Intervalle de confiance du biais | Avec quelle précision estime-t-on le décalage moyen ? |
| Intervalles de confiance des limites | Avec quelle précision estime-t-on les bornes ? |
| Tolérance métier | Quelle différence est acceptable pour la décision ? |
Bland et Altman précisent que les limites calculées restent des estimations : un autre échantillon donnerait d’autres bornes. Leur incertitude doit donc accompagner l’interprétation.
Pour un dossier de validation, présentez la tolérance métier à côté des limites estimées et de leur incertitude. Cette restitution permet au décideur de voir quelle exigence a été retenue et sur quelle précision statistique repose l’évaluation. Le graphique documente le choix ; l’organisation conserve la responsabilité du seuil acceptable.
5. Quels motifs visuels demandent une analyse supplémentaire ?
Une pente, un élargissement du nuage ou un point isolé demandent d’examiner les différences avant de résumer le graphique. Bland et Altman, en 1986, étudient notamment la relation entre différence et moyenne et proposent de vérifier la distribution des différences par un histogramme.
Si le centre du nuage se déplace avec le niveau des notes, le décalage dépend du niveau de mesure. S’il s’élargit, la dispersion change selon ce niveau. Des limites horizontales communes peuvent alors être trop larges dans une partie de la plage et trop étroites dans une autre. Un histogramme asymétrique ou présentant des queues très longues invite également à examiner l’hypothèse de normalité.
Les auteurs discutent une transformation logarithmique lorsque les différences sont proportionnelles à la moyenne. Cette piste appartient à leur développement méthodologique. Pour des notes de documents, son emploi demanderait de justifier le sens de l’échelle et l’interprétation des résultats transformés.
Notre proposition pour la relecture métier est de revenir aux documents correspondant aux points isolés et d’en vérifier l’appariement, les conditions et le verdict. Conservez une trace des éventuelles exclusions avec leur justification. Pour restituer le diagnostic, décrivez séparément la position du nuage et son épaisseur : le lecteur doit pouvoir comprendre si le problème porte sur un décalage général ou sur des divergences variables selon les documents.
6. Quelles conclusions les données publiques autorisent-elles ?
Elles permettent de lire les comparaisons publiées et de préparer une analyse complémentaire. La figure 7 de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026 représente les totaux document par document, avec une passe sur chaque axe. Les cercles non remplis indiquent les changements de verdict. Ce nuage de notes appariées diffère du graphique de Bland-Altman, qui place la moyenne et la différence sur ses axes.
Pour réaliser ce tracé complémentaire, nous proposons de réunir les paires exactes de scores, leurs identifiants de documents et leurs conditions de session. Les auteurs indiquent que les scores anonymisés et les scripts sont disponibles sur demande ; aucun graphique ni aucune limite d’accord supplémentaire n’est recalculé ici à partir des moyennes publiées.
La prépublication rappelle aussi que les documents évalués ensemble peuvent partager un décalage de session. Ses tests sont exploratoires, et les intervalles calculés au niveau des documents ignorent cette dépendance. Ce point appelle un protocole tenant compte des sessions pour apprécier l’incertitude d’une future analyse.
Enfin, les auteurs comparent les juges entre eux sans jeu de référence noté par des professionnels du métier. L’accord ne démontre donc ni l’exactitude ni l’acceptabilité professionnelle. Pour une décision de remplacement, TW3 recommande de joindre à l’étude des écarts une revue métier des documents dont le verdict change : la mesure de l’accord prend alors sa place dans la validation de l’usage.
FAQ
Deux juges corrélés sont-ils interchangeables ?
La corrélation seule ne l’établit pas : elle décrit une relation entre leurs notes. L’interchangeabilité exige d’examiner les écarts individuels au regard de la tolérance de la décision, suivant la méthode de Bland et Altman, 1986.
Corriger le biais moyen suffit-il ?
Selon Bland et Altman, 1986, une correction constante recentre les différences, dont la dispersion reste à évaluer. Dans la prépublication de Gibert, Despujols et Rochet déposée sur arXiv le 30 septembre 2026, le décalage d’une passe Sonnet ne se reproduit pas lors d’une nouvelle passe. Une correction doit donc rester attachée aux conditions qui la justifient.
Limites d’accord et intervalle de confiance désignent-ils la même chose ?
Dans la méthode de Bland et Altman, 1986, les limites d’accord décrivent l’étendue attendue des différences individuelles. Un intervalle de confiance exprime l’incertitude d’une estimation, qu’il s’agisse du biais moyen ou de chacune des limites.
La dispersion peut-elle changer avec la note ?
Oui : un nuage qui s’élargit indique des différences plus dispersées dans une partie de l’échelle. La méthode de Bland et Altman, 1986 demande d’examiner cette relation avant d’interpréter des limites communes à toute la plage.
Peut-on tracer Bland-Altman à partir des seules moyennes publiées ?
Le graphique de Bland et Altman, 1986 demande les notes appariées de chaque document pour placer les points. Les moyennes globales permettent de lire un décalage global, sans reconstituer la répartition des différences ni leur relation avec le niveau des notes.
Pour aller plus loin
- ICC : quelle corrélation intraclasse choisir pour évaluer un juge LLM ?
- Deux systèmes d’IA sont-ils équivalents quand l’écart est non significatif ?
- Changer de juge LLM : organiser une campagne de raccordement des notes
Sources
- J. Martin Bland et Douglas G. Altman, The Lancet, Statistical methods for assessing agreement between two methods of clinical measurement, 1986, copie publique de l’auteur, consulté le 9 octobre 2026.
- Ludovic Gibert, Matis Despujols et André-Louis Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, notice, consulté le 9 octobre 2026.
- Même prépublication, texte intégral HTML, tableau 2 et annexe G, figure 7, consulté le 9 octobre 2026.