Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 5 novembre 2026.
En bref
Avant d’utiliser une note automatique pour valider un document, vérifiez si elle reste suffisamment stable d’une évaluation à l’autre. Le coefficient de corrélation intraclasse, ou ICC, mesure cette fiabilité, selon Koo et Li dans leur guide de 2016. Sa forme dite « accord absolu » tient compte des écarts de niveau entre les notes attribuées au même document. Le choix dépend des évaluateurs retenus et du score utilisé pour décider : une note individuelle ou une moyenne de notes. La prépublication de Gibert, Despujols et Rochet, déposée sur arXiv le 30 septembre 2026, étudie 17 livrables issus d’exercices sur informations publiques. Nous recommandons de préciser ces choix avant l’évaluation et de lire la marge d’incertitude du résultat avant de l’utiliser.
1. Que mesure une corrélation intraclasse ?
Une corrélation intraclasse mesure la fiabilité de notes en rapportant la variation entre les objets évalués à la variation totale des mesures. Dans leur guide de 2016, Koo et Li définissent la fiabilité comme le rapport entre la variance vraie et la somme de cette variance et de la variance d’erreur.
Appliquée à des documents, cette lecture conduit à distinguer leurs différences de niveau et les variations introduites par la notation. Un juge LLM désigne ici un modèle de langage chargé d’évaluer un document selon une grille. Transposer le guide à ce juge constitue une proposition de méthode : le texte de Koo et Li porte sur la recherche clinique.
La composition du corpus compte. Les auteurs soulignent qu’une ICC basse peut aussi tenir à une faible diversité des sujets évalués. Des documents de niveaux proches offrent moins de dispersion à rapporter aux désaccords de notation. Il est donc utile de décrire la population documentaire avec le coefficient : une valeur isolée ne caractérise pas le juge dans tous ses usages.
Pour juger la stabilité des notes qui fondent une décision, il faut examiner leur accord. Koo et Li demandent qu’une mesure de fiabilité rende compte à la fois de la corrélation et de l’accord entre mesures.
2. Quel modèle correspond au plan de notation ?
Le modèle dépend de la répartition des documents entre évaluateurs et de la population de juges à laquelle on souhaite étendre le résultat. Koo et Li, en 2016, demandent d’abord si les mêmes juges évaluent tous les sujets, puis s’ils représentent un échantillon d’une population plus large.
| Plan de notation | Modèle décrit par Koo et Li | Portée du résultat |
|---|---|---|
| Des ensembles différents de juges, tirés dans une population, évaluent les sujets | Un facteur aléatoire | Fiabilité dans ce plan de répartition |
| Les mêmes juges évaluent les sujets et sont tirés dans une population de juges comparables | Deux facteurs aléatoires | Généralisation à cette population, sous les hypothèses du plan |
| Les mêmes juges évaluent les sujets et seuls ces juges intéressent l’étude | Deux facteurs mixtes | Fiabilité des juges retenus |
Dans le modèle à deux facteurs, on distingue l’objet évalué et le juge. Le terme « mixte » signifie ici que les juges sont fixés : l’interprétation reste attachée à ceux qui participent à l’étude. Choisir cette option engage donc la portée du résultat.
Pour une campagne LLM, notre proposition consiste à écrire explicitement ce que recouvre un juge : modèle, version, consigne et configuration. Indiquez ensuite si la question concerne ces configurations précises ou une population définie d’évaluateurs. La liste des outils disponibles dans l’équipe ne constitue pas, à elle seule, un tirage dans cette population.
Koo et Li précisent aussi que les modèles aléatoire et mixte à deux facteurs peuvent partager une formule tout en ayant des interprétations différentes. Le logiciel peut ainsi produire la même valeur sans autoriser la même conclusion. Pour les répétitions d’un même évaluateur, leur guide oriente vers un modèle mixte à deux facteurs.
3. Faut-il mesurer un juge ou une moyenne de juges ?
Il faut mesurer la fiabilité du score qui sera effectivement utilisé : une note individuelle ou une moyenne définie à l’avance. Ce choix correspond au « type » d’ICC dans le guide de Koo et Li de 2016.
Les auteurs rattachent le choix au protocole d’application. Une étude peut mobiliser plusieurs juges pour estimer la fiabilité d’une note individuelle. Leur présence dans l’expérience n’oblige donc pas à retenir une ICC de moyenne. Inversement, lorsque la décision repose sur une moyenne, la mesure doit porter sur cette moyenne et sur le nombre de juges qui la composent.
Cette précision change la lecture du résultat. Koo et Li indiquent qu’une ICC de moyenne est généralement supérieure à l’ICC individuelle correspondante. Rapporter la première pour justifier l’usage d’une note isolée attribuerait à cette note la fiabilité d’une autre mesure. La conclusion doit conserver l’unité choisie dans le protocole.
Pour une validation en entreprise, décrivez d’abord la règle de décision en une phrase : quel score est transmis au responsable, et comment est-il calculé ? Rattachez ensuite le type d’ICC à cette règle. Si l’équipe hésite encore entre une note individuelle et une moyenne, gardez les résultats séparés jusqu’à l’arbitrage.
4. Accord absolu ou cohérence des notes ?
L’accord absolu convient lorsque les évaluateurs doivent attribuer le même niveau de note au même document. La cohérence accepte un décalage systématique de niveau. Cette distinction suit Koo et Li, 2016.
Leur définition de la cohérence porte sur une relation additive : la note d’un évaluateur peut correspondre à celle d’un autre augmentée d’une constante. Cette relation est plus précise que la seule conservation d’un classement. Pour choisir une ICC de cohérence, il faut donc retenir cette définition des écarts entre notes.
Pour choisir, partez de la fonction du score. Dans l’hypothèse où une note détermine le franchissement d’un seuil de validation, un décalage entre juges entre dans le désaccord à examiner. TW3 recommande alors de retenir l’accord absolu. Pour la répétition des mesures d’un même évaluateur, Koo et Li préconisent également cette définition.
Dans le tableau 2 de la prépublication de Gibert, Despujols et Rochet du 30 septembre 2026, la notation ICC(A,1) désigne un coefficient d’accord absolu pour une mesure individuelle. La lettre A renvoie à l’accord absolu ; le chiffre 1 indique la mesure individuelle. La légende rattache cette notation à la convention de McGraw et Wong.
Conservez cette convention dans le compte rendu et ajoutez le modèle en toutes lettres. Les dimensions « individuel ou moyen » et « accord absolu ou cohérence » doivent rester lisibles séparément : elles définissent ce que le résultat permet d’affirmer.
5. Comment lire l’incertitude du coefficient ?
L’estimation doit se lire avec les bornes de son intervalle et les hypothèses de calcul. Le tableau 2 de Gibert, Despujols et Rochet, prépublication du 30 septembre 2026, donne pour les passes Opus de l’étude sur les mêmes documents une ICC de 0,77, avec un intervalle de confiance à 95 % de 0,31 à 0,92, à l’itération 7.
Les auteurs situent l’estimation ponctuelle dans la bande qualifiée de « bonne » par Koo et Li, tout en soulignant la borne basse. Retenir seulement le qualificatif ferait disparaître l’incertitude qui accompagne la mesure. Le tableau précise que les intervalles sont obtenus par rééchantillonnage des documents, méthode appelée bootstrap.
Le périmètre du calcul reste déterminant. Les auteurs indiquent que les intervalles par document ignorent la dépendance liée aux sessions de notation. Ils présentent leurs tests comme exploratoires. L’annexe J distingue également les répétitions dans des groupes fixes, les sessions réaffectées et les comparaisons de configurations : ces situations font varier des facteurs différents.
Dans leur guide de 2016, Koo et Li indiquent explicitement qu’il n’existe pas de valeurs standard d’acceptabilité de la fiabilité. Leurs bandes servent à interpréter des résultats de recherche ; elles ne constituent pas un seuil professionnel de mise en production.
Pour une revue de validation, la pratique proposée est de présenter ensemble le coefficient, son intervalle et le périmètre des répétitions. L’étude TW3 rappelle enfin que l’accord entre juges ne démontre ni l’exactitude ni l’acceptabilité professionnelle des documents. Le responsable conserve donc une décision métier distincte de la mesure de fiabilité.
6. Que doit contenir le compte rendu ?
Le compte rendu doit permettre d’identifier la mesure évaluée et de comprendre à quel usage elle s’applique. Koo et Li, en 2016, demandent de rapporter le logiciel, le modèle, le type, la définition, l’estimation et son intervalle de confiance.
La fiche ci-dessous transpose cette exigence à une campagne de notation documentaire. Elle constitue une proposition du cabinet à remplir avant l’analyse, puis à compléter avec les résultats obtenus.
| Champ | Information à consigner |
|---|---|
| Population | Documents visés, critères de sélection, diversité recherchée |
| Juges | Modèles, versions, consignes et configurations évalués |
| Répartition et répétitions | Documents confiés à chaque juge, passes et regroupements en sessions |
| Modèle statistique | Un ou deux facteurs ; juges aléatoires ou fixés ; population de généralisation |
| Type de mesure | Note individuelle ou moyenne, avec son nombre de juges |
| Définition de l’accord | Accord absolu ou cohérence, justifié par l’usage du score |
| Calcul | Logiciel, version, options et convention de notation |
| Résultat | Coefficient, intervalle, niveau de confiance et méthode de calcul |
Cette fiche donne au responsable de validation un moyen de relier le résultat à la décision prévue. Elle permet aussi à l’analyste de retrouver les choix effectués lorsque la campagne est reprise avec une autre configuration.
Avant de comparer des coefficients, rapprochez les fiches : portent-ils sur une note individuelle ou sur une moyenne, sur les mêmes types de documents et sur la même définition de l’accord ? Une différence de valeur appelle d’abord cette vérification. Si une information manque, demandez de compléter le compte rendu avant de conclure à une amélioration de la fiabilité.
FAQ
Une corrélation de rang suffit-elle pour mesurer la fiabilité ?
La fiabilité étudiée par Koo et Li en 2016 rapporte la variance vraie à la variance totale et prend aussi en compte l’accord entre les mesures. Une corrélation seule laisse donc une partie de la question ouverte pour des notes utilisées en décision.
L’ICC d’une moyenne vaut-elle pour un seul juge ?
Elle décrit la moyenne définie dans le protocole. Si la décision repose sur une note individuelle, c’est la fiabilité de cette note qu’il faut estimer, même lorsque plusieurs juges participent à l’expérience.
Un décalage constant est-il un désaccord ?
Il entre dans l’évaluation de l’accord absolu. La définition de cohérence donnée par Koo et Li admet une relation additive entre les notes ; le choix dépend donc de l’importance du niveau de score dans la décision.
Une ICC élevée avec un intervalle large est-elle rassurante ?
L’intervalle invite à qualifier la conclusion. Le tableau de l’étude TW3 montre pourquoi l’estimation ponctuelle doit être accompagnée de ses bornes et des hypothèses de calcul, notamment celles concernant les sessions.
Peut-on comparer deux ICC sans connaître leur définition ?
Il faut d’abord retrouver le modèle, le type de mesure et la définition de l’accord. La population évaluée, la composition des juges et l’incertitude complètent cette lecture : les coefficients doivent répondre à une question comparable.
Pour aller plus loin
- Kappa de Cohen : interpréter les désaccords entre verdicts d’un juge LLM.
- Bland-Altman : voir où deux juges LLM cessent d’être interchangeables.
- Théorie de la généralisabilité : que gagne-t-on en moyennant plusieurs juges LLM ?.
Sources
- Koo et Li, Journal of Chiropractic Medicine, A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research, 31 mars 2016, consulté le 9 octobre 2026.
- Gibert, Despujols et Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, notice de la version initiale, consulté le 9 octobre 2026.
- Gibert, Despujols et Rochet, texte intégral de la prépublication du 30 septembre 2026, section 5.1, tableau 2 et annexe J, consulté le 9 octobre 2026.