Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 6 novembre 2026.
En bref
L’oméga de McDonald estime à quel point des évaluations répétées reflètent un même jugement sous-jacent, selon des hypothèses à vérifier. Un modèle de langage utilisé pour noter ou départager des réponses est appelé un juge LLM. Schroeder et Wood-Doughty, dans leur prépublication déposée sur arXiv le 17 décembre 2024, appliquent ce coefficient à des demandes de jugement exécutées 100 fois. Leur méthode distingue le jugement supposé commun aux répétitions et les erreurs qui affectent chaque réponse. Pour un responsable de validation, cette distinction aide à décider ce que les évaluations permettent réellement de conclure. Avant de retenir un coefficient, il faut préciser ce qui a été répété et vérifier que cette répétition correspond à l’usage prévu.
1. Qu’appelle-t-on cohérence interne de jugements répétés ?
La cohérence interne désigne ici la manière dont plusieurs répétitions contribuent à mesurer un même jugement sous-jacent. Dans le texte intégral de Schroeder et Wood-Doughty, version du 17 décembre 2024, une répétition est une nouvelle exécution de la même demande de jugement : seule son instanciation change.
Le raisonnement distingue la réponse effectivement observée du « trait latent ». Ce terme désigne le jugement commun que le modèle statistique suppose derrière les réponses, sans pouvoir l’observer directement. Les auteurs utilisent une analyse factorielle, méthode qui représente les relations entre mesures à partir de facteurs communs. Dans leur application de l’oméga, chaque répétition est reliée à un même trait.
Cette définition impose de préciser l’objet de la collecte. Répéter une notation avec la même demande et les mêmes réponses candidates appartient au protocole décrit. Changer les critères d’évaluation ou les réponses soumises revient à modifier cet objet. Pour une application métier, nous recommandons de consigner séparément les éléments maintenus constants et ceux que l’expérience fait varier.
Le jugement sous-jacent reste une composante supposée du modèle de mesure. Pour une application métier, il est utile d’examiner séparément la justesse des évaluations et leur cohérence entre répétitions : la décision attendue doit guider ces vérifications.
2. Que représentent les termes de la formule ?
L’oméga rapporte la contribution du facteur commun à une expression qui tient aussi compte des erreurs. La formule donnée par Schroeder et Wood-Doughty en décembre 2024 s’écrit :
$$ \omega = \frac{\left(\sum_{i=1}^{n}\lambda_i\right)^2}{\left(\sum_{i=1}^{n}\lambda_i\right)^2 + \sum_{i=1}^{n}\theta_{ii} + 2\sum_{1\leq i<j\leq n}\theta_{ij}} $$
Les termes ont des fonctions distinctes :
| Terme | Signification dans cette application |
|---|---|
| n | Nombre de répétitions du jugement |
| λᵢ | Charge factorielle de la répétition, c’est-à-dire force de sa relation avec le trait latent |
| θᵢᵢ | Variance d’erreur standardisée de cette répétition |
| θᵢⱼ | Terme de covariance entre répétitions figurant au dénominateur |
Une charge factorielle élevée indique, selon les auteurs, qu’une répétition représente fortement le trait supposé commun. La variance d’erreur décrit la part d’erreur associée à cette mesure.
La notation appelle une vérification : les auteurs décrivent θᵢⱼ comme une covariance entre répétitions, puis posent une hypothèse d’indépendance des erreurs. Pour transposer leur méthode, faites préciser à l’équipe data ce que représentent les covariances dans le modèle retenu et comment elles sont traitées dans le calcul.
Cette vérification relève de la méthode proposée par le cabinet. Demandez également quelle formule a été estimée, quels paramètres ont été contraints et comment les charges factorielles ont été obtenues. Le dossier de validation devrait conserver ces choix avec le coefficient pour permettre à un autre lecteur de comprendre le calcul.
3. Quelles hypothèses faut-il examiner ?
Il faut examiner l’addition des erreurs au jugement, leur indépendance entre répétitions et l’existence d’un trait commun. Le cadre de Schroeder et Wood-Doughty, décembre 2024, énonce explicitement ces hypothèses.
L’erreur est additive. Chaque mesure se compose d’un jugement sous-jacent et d’une erreur qui s’y ajoute. Pour transposer cette construction, il est utile de demander comment les réponses ont été codées et pourquoi le modèle d’erreur retenu convient à leur format. Cette vérification relève de la méthode proposée ici pour un nouveau projet.
Les erreurs sont indépendantes. Les auteurs considèrent cette hypothèse satisfaite parce que les instanciations sont indépendantes. Dans une transposition métier, documenter des appels séparés est un point de départ ; examiner les erreurs résiduelles du modèle permet de confronter l’hypothèse aux données. Il faut notamment expliciter le traitement d’un contexte éventuellement partagé entre évaluations.
Les répétitions mesurent un même trait. Les auteurs le justifient par l’emploi d’une demande unique. Pour une grille réunissant plusieurs critères, TW3 recommande d’examiner ce que représente le facteur commun avant de calculer un coefficient global. Une même consigne peut demander plusieurs appréciations : leur regroupement dans une note appelle une justification métier et statistique.
Ces vérifications constituent une proposition de lecture critique pour un nouveau protocole. Elles évitent de confondre une hypothèse posée dans une étude avec une propriété déjà établie pour tout autre corpus. L’équipe doit pouvoir expliquer pourquoi les mesures regroupées répondent à la même question.
4. Comment les auteurs organisent-ils leur expérience ?
Les auteurs font choisir la meilleure réponse parmi plusieurs propositions, puis répètent ce jugement dans des conditions contrôlées. Selon leur protocole de décembre 2024, ils sélectionnent 55 questions issues de BIG-Bench Hard, SQuAD et MT-Bench et produisent cinq réponses candidates par question.
Les demandes de jugement sont exécutées 100 fois. L’ordre des réponses est tiré au hasard pour chaque nouvelle question, puis maintenu identique au fil des répétitions. Les températures testées sont 1, 0,75, 0,5, 0,25 et une valeur présentée comme 0, précisée comme l’epsilon machine. La température est le réglage d’échantillonnage dont ils étudient l’effet sur la variabilité des réponses.
Leurs résultats montrent une relation variable entre température et cohérence selon le juge et le jeu de questions. Dans leur configuration à température dite nulle, les sorties sont identiques. Ce résultat reste attaché au dispositif testé.
Un choix de traitement mérite attention : les sorties sans sélection de la meilleure réponse sont regroupées dans une même catégorie. Les auteurs indiquent que ce regroupement rend leur estimation optimiste, particulièrement lorsque les non-réponses sont nombreuses. Il faut donc lire le coefficient avec la règle de gestion des sorties inexploitables.
Leur application complémentaire au jeu Head-to-Tail porte sur des jugements de correction disposant d’une réponse de référence. Elle montre qu’une forte cohérence peut accompagner des variations de l’indicateur final entre répétitions. Le périmètre étudié reste celui de questions et de dialogues issus de jeux d’évaluation ; son transfert à des présentations financières longues demande une expérimentation dédiée.
5. En quoi l’oméga diffère-t-il de l’ICC ?
L’oméga décrit une cohérence construite par un modèle factoriel ; la corrélation intraclasse, ou ICC, dépend d’un choix explicite de modèle et de définition de l’accord. Dans leur guide paru le 31 mars 2016 dans le Journal of Chiropractic Medicine, Koo et Li demandent de spécifier le modèle, la mesure individuelle ou moyenne, et la cohérence ou l’accord absolu.
L’accord absolu examine si les évaluateurs attribuent les mêmes scores aux mêmes objets. Une définition fondée sur la cohérence peut admettre un décalage systématique entre évaluateurs. Il serait donc imprécis d’opposer l’oméga à « l’ICC » sans préciser la forme de ce dernier.
| Question d’évaluation | Construction à expliciter |
|---|---|
| Les répétitions reflètent-elles un trait commun ? | Modèle factoriel et hypothèses de l’oméga |
| Les évaluations attribuent-elles les mêmes notes ? | ICC défini en accord absolu |
| La décision utilise-t-elle une note ou une moyenne ? | Type de mesure retenu pour l’ICC |
L’étude de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026, porte sur 17 livrables financiers construits comme exercices à partir d’informations publiques. L’analyse des passages répétés de cette étude utilise un ICC en accord absolu pour une mesure individuelle et des estimations de changement détectable. Elle ne calcule pas d’oméga.
Le rapprochement est méthodologique : chaque construction répond à une question définie par le protocole. Les auteurs de l’étude TW3 précisent également que l’accord entre juges ne démontre ni exactitude ni acceptabilité professionnelle. Pour lire un ICC, Koo et Li demandent de rapporter sa forme et son intervalle de confiance avec l’estimation.
6. Que demander avant d’utiliser ce coefficient ?
Demandez un dossier de mesure qui relie le coefficient à la décision envisagée. Cette recommandation de méthode prolonge les limites et perspectives formulées par Schroeder et Wood-Doughty en décembre 2024, qui appellent à développer des règles d’interprétation propres aux domaines d’application.
Le dossier devrait permettre de répondre aux questions suivantes :
- Quelle demande est répétée, sur quels objets et avec quels éléments maintenus constants ?
- Quel jugement commun le facteur est-il supposé représenter ?
- Comment les réponses sont-elles codées et les sorties inexploitables traitées ?
- Quelles hypothèses sur les erreurs ont été posées et examinées ?
- Comment la variabilité observée affecte-t-elle la décision finale ?
Cette dernière question relie la statistique au travail du responsable de validation. Le protocole doit préciser l’usage prévu des évaluations avant de choisir une règle d’acceptation. Consigner les configurations et les conditions de répétition aide ensuite à définir le périmètre auquel la conclusion s’applique.
Les auteurs présentent des repères de lecture généraux tout en renvoyant les tolérances propres aux métiers à des travaux futurs. Pour un nouveau projet, fixer les critères de validation avec les responsables métier reste donc une étape distincte du calcul. Une valeur d’oméga peut alimenter cette décision ; son interprétation demande le protocole, ses hypothèses et l’analyse des conséquences observées.
FAQ
L’oméga mesure-t-il la vérité du jugement ?
Il estime la cohérence des répétitions selon un modèle qui suppose un jugement sous-jacent. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet rappellent que l’accord entre juges ne démontre ni exactitude ni acceptabilité professionnelle.
Quels écarts aux hypothèses faut-il examiner ?
Examinez si le modèle d’erreur additive convient aux réponses, si les erreurs restent liées entre répétitions et si les mesures représentent le même trait. Pour une application métier, cette vérification doit accompagner la définition des critères regroupés.
Le papier teste-t-il des documents financiers longs ?
Dans leur prépublication déposée sur arXiv le 17 décembre 2024, Schroeder et Wood-Doughty étudient des questions et des dialogues issus de jeux d’évaluation, ainsi qu’une application de jugement de correction. Une utilisation sur des documents financiers longs constitue une transposition à tester sur son propre corpus.
Oméga et ICC répondent-ils à la même question ?
Leur interprétation dépend de la construction retenue : facteur commun pour l’oméga présenté ici, modèle et définition de l’accord pour l’ICC. Selon le guide de Koo et Li du 31 mars 2016, un ICC en accord absolu examine notamment l’identité des scores attribués aux mêmes objets.
Existe-t-il un seuil d’oméga universel pour les métiers ?
Dans leur prépublication déposée sur arXiv le 17 décembre 2024, Schroeder et Wood-Doughty appellent à développer des règles d’interprétation adaptées aux domaines. Les repères généraux doivent donc être confrontés à l’usage prévu et aux conséquences d’une variation de jugement dans la décision.
Pour aller plus loin
- ICC : quelle corrélation intraclasse choisir pour évaluer un juge LLM ?
- Température zéro : pourquoi une évaluation LLM peut encore varier
- Répéter la génération ou la notation : séparer deux sources de variabilité
Sources
- Schroeder et Wood-Doughty, Can You Trust LLM Judgments? Reliability of LLM-as-a-Judge, prépublication déposée sur arXiv le 17 décembre 2024, version initiale, texte intégral, consulté le 9 octobre 2026.
- Koo et Li, A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research, Journal of Chiropractic Medicine, 31 mars 2016, consulté le 9 octobre 2026.
- Gibert, Despujols et Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, texte intégral, consulté le 9 octobre 2026.