Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 9 novembre 2026.

En bref

La théorie de la généralisabilité aide à distinguer ce qui fait varier une note pour évaluer l’intérêt de moyenner plusieurs évaluateurs. Un juge LLM est un modèle de langage chargé de noter un document selon une consigne. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet étudient 17 livrables réalisés à partir d’informations publiques. Dans ce groupe de juges, la fiabilité projetée de la moyenne est plus élevée pour classer les documents que pour apprécier le niveau de leurs notes. Cette différence compte pour décider si une moyenne servira à comparer des productions ou à autoriser leur utilisation. Le gain projeté dépend du groupe de juges étudié et des hypothèses du calcul : aucun effectif de juges n’assure ici une fiabilité cible sur une nouvelle tâche.

1. Quels effets le modèle sépare-t-il ?

Le modèle distingue les différences entre documents, les différences systématiques entre juges et un résidu propre à chaque couple document-juge. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet écrivent la note sous la forme suivante :

Y_dj = μ + a_d + b_j + e_dj

La lettre μ représente le niveau moyen. L’effet a_d décrit ce qui distingue un document des autres dans cette notation. L’effet b_j représente le décalage associé au juge, autrement dit sa tendance à noter plus haut ou plus bas. Le terme e_dj regroupe ce que ces effets séparés n’expliquent pas.

Une composante de variance désigne la dispersion attribuée à l’un de ces effets. Décomposer cette dispersion aide à comprendre pourquoi une même production reçoit des notes différentes. L’effet document reste une différence mesurée par le dispositif : il ne constitue pas une mesure indépendante de la qualité professionnelle.

Le résidu appelle une attention particulière. L’analyse conserve une seule observation par couple document-juge et par tour. Une préférence spécifique d’un juge pour un document et une fluctuation de mesure se retrouvent donc dans le même terme. Leur séparation demanderait un plan d’observation plus riche. Les auteurs utilisent le premier score obtenu dans le regroupement initial des documents ; les répétitions ne sont pas moyennées dans cette décomposition.

2. Comment estime-t-on les composantes de variance ?

Les composantes sont estimées à partir des dispersions entre documents, entre juges et dans le résidu. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet utilisent les moyennes quadratiques d’une analyse de variance à deux facteurs. Les moyennes quadratiques servent ici à estimer les variances à partir de la dispersion des notes.

Notons D le nombre de documents observés et J le nombre de juges observés. Les symboles MS_d, MS_j et MS_e désignent respectivement les moyennes quadratiques des documents, des juges et du résidu. Les estimations s’écrivent :

v̂_d = max{(MS_d - MS_e) / J, 0}
v̂_j = max{(MS_j - MS_e) / D, 0}
v̂_e = MS_e

Pour les documents, la formule retranche la dispersion résiduelle puis divise par le nombre de juges. Pour les juges, elle applique le même raisonnement avec le nombre de documents. Ces diviseurs correspondent au plan croisé : chaque effet est estimé à travers les observations faites sur l’autre facteur.

Les auteurs ramènent à zéro les estimations négatives. Dans la formule, cela se produit lorsque la soustraction des moyennes quadratiques donne une valeur négative. Une composante ainsi ramenée à zéro est le résultat de cette règle d’estimation ; elle ne démontre pas que l’effet est absent dans toute autre campagne.

Pour préparer une analyse sur un autre corpus, le cabinet propose de conserver le tableau des notes par document et par juge, avec les regroupements et les conditions de collecte. Cette précaution de méthode permet de documenter les observations utilisées dans le calcul.

3. Pourquoi distinguer décision relative et absolue ?

Une décision relative porte sur la position des documents les uns par rapport aux autres ; une décision absolue dépend du niveau de la note. Le guide de Koo et Li, paru en 2016 dans le Journal of Chiropractic Medicine, distingue ainsi la cohérence des évaluations et leur accord absolu. Il traite de mesures de fiabilité en recherche clinique ; nous en retenons ici la distinction méthodologique.

Un décalage systématique entre évaluateurs peut laisser leur classement inchangé. Il compte en revanche lorsqu’une note doit être comparée à un seuil commun. Le coefficient pertinent dépend donc de ce que l’organisation fera de la mesure.

Usage envisagéCe qui doit rester stableTraitement de l’effet juge
Classer les documentsLeur position relativeLe décalage général d’un juge est écarté de l’erreur relative
Comparer la note à un seuilLe niveau attribué au documentLe décalage entre juges entre dans l’erreur absolue

Selon Gibert, Despujols et Rochet, 30 septembre 2026, le coefficient relatif laisse la variance entre juges hors de son dénominateur. Le coefficient absolu l’y conserve. Les écarts document-juge subsistent dans les deux calculs par l’intermédiaire du résidu.

Il faut également distinguer accord et validité. Les auteurs comparent les juges entre eux, sans jeu de référence noté par des professionnels du métier. Une convergence des notes ne démontre donc ni leur exactitude ni l’acceptabilité professionnelle des documents. La décision de diffusion conserve ses critères métier propres.

4. Comment le nombre de juges entre-t-il dans la projection ?

Le nombre de juges divise les termes d’erreur associés à leur moyenne. Selon Gibert, Despujols et Rochet, 30 septembre 2026, les formules pour une moyenne projetée de k juges s’écrivent :

Coefficient absolu : Φ_k = v̂_d / [v̂_d + (v̂_j + v̂_e) / k]
Coefficient relatif : Eρ²_k = v̂_d / [v̂_d + v̂_e / k]

Le numérateur est identique : la variance estimée entre documents. Le dénominateur ajoute l’erreur de la moyenne selon la décision visée. À composantes fixées, augmenter k réduit ces termes d’erreur. Le coefficient absolu supporte un terme supplémentaire, celui des différences entre juges ; il reste donc inférieur ou égal au coefficient relatif lorsque les rapports sont définis.

Les auteurs rapportent, pour cinq juges moyennés, un coefficient relatif projeté de 0,72, contre 0,45 pour le coefficient absolu. La figure 8 trace les courbes conditionnelles à la décomposition du tour 7. Ces valeurs décrivent le modèle ajusté sur ce panel, sans constituer des mesures obtenues sur un nouveau panel indépendant.

L’hypothèse décisive est celle de contributions non corrélées des juges et des résidus. C’est sous cette hypothèse que les termes concernés se divisent par k. Ajouter des juges dont les contributions sont liées exige de réexaminer cette réduction. La courbe sert ainsi à lire un mécanisme de moyenne ; son usage pour dimensionner une campagne demande une validation sur le dispositif envisagé.

5. Quels facteurs ne sont pas modélisés ?

Les effets de session et de famille de modèles ne sont pas ajustés séparément. Gibert, Despujols et Rochet, dans leur prépublication déposée sur arXiv le 30 septembre 2026, le précisent pour un panel choisi par convenance, comprenant des familles apparentées. Ses parts de variance décrivent les juges retenus dans les conditions observées.

Cette limite concerne directement le transfert. Changer les documents, la composition du panel ou les conditions de notation demande de vérifier à nouveau les composantes utilisées dans la projection. La distinction entre J, effectif observé, et k, effectif de la moyenne projetée, doit rester visible dans le compte rendu. Une extension de la courbe ne correspond pas à une collecte supplémentaire.

Dans sa prépublication déposée sur arXiv le 1er novembre 2024, Evan Miller étudie un problème complémentaire : l’incertitude des évaluations de modèles sur des questions. Il explique que des questions regroupées et dépendantes nécessitent un traitement de leur structure de dépendance. Répéter les réponses à une même question ne transforme pas ces réponses en autant de questions indépendantes.

Ce cadre concerne la précision d’une évaluation sur une population de questions. Il fournit un appui pour concevoir la collecte, tandis que la projection TW3 porte sur une moyenne de juges évaluant des documents. Leur rapprochement invite à identifier les unités réellement distinctes avant de compter les observations.

6. Comment utiliser cette lecture pour concevoir une étude ?

Il est utile de définir la décision attendue avant de répartir l’effort entre documents, juges et répétitions. La démarche suivante est une proposition de méthode du cabinet, inspirée des sources précédentes.

Commencez par décrire la population de documents à laquelle la décision s’appliquera. Précisez ensuite si l’usage consiste à classer des productions ou à comparer leur note à un seuil. Fixez la mesure effectivement utilisée : score individuel ou moyenne du panel. Ce choix reprend le principe exposé par Koo et Li en 2016 : l’analyse de fiabilité doit correspondre au protocole d’utilisation.

Organisez ensuite la collecte pour distinguer les juges, les documents et les répétitions. Consignez la version du modèle, la consigne, les fichiers présentés et leur ordre dans chaque session. Prévoyez des répétitions avec des regroupements réassignés si l’objectif inclut la sensibilité au contexte de notation. La prépublication TW3 distingue précisément répétitions à regroupement fixe, sessions réassignées et changements de configuration.

Présentez enfin les composantes estimées et les coefficients relatif et absolu avec leurs hypothèses. Séparez les observations collectées des projections. Dans sa prépublication déposée sur arXiv le 1er novembre 2024, Miller propose d’analyser les différences de score sur les mêmes questions et de relier le dimensionnement à l’écart que l’étude cherche à détecter. Cette démarche peut guider le responsable de validation dans la répartition de l’effort d’évaluation.

FAQ

Le résidu représente-t-il uniquement du bruit ?
Il rassemble l’interaction document-juge et l’erreur de mesure dans le modèle de l’annexe J. Avec une seule observation par couple, ces contributions restent confondues. Une préférence particulière d’un juge pour un document peut donc se retrouver dans ce terme.

Classement et niveau absolu ont-ils la même fiabilité ?
Les coefficients répondent à des usages différents. Le calcul absolu intègre les différences systématiques entre juges, qui comptent lorsqu’on utilise un seuil commun. Le calcul relatif écarte ce terme tout en conservant le résidu.

Moyenner les juges garantit-il un niveau fiable ?
La projection dépend des composantes estimées et de l’hypothèse de contributions non corrélées. Un autre panel ou une autre tâche demande une nouvelle vérification. L’accord des juges reste également distinct de l’exactitude de leur appréciation.

Les familles de modèles sont-elles modélisées ?
Leur effet n’est pas estimé séparément dans cette décomposition. Les auteurs signalent que le panel comprend des familles apparentées. Il faut conserver cette caractéristique dans l’interprétation des gains projetés par moyenne.

Peut-on choisir son panel avec la seule figure 8 ?
Elle décrit une projection conditionnelle au panel étudié. Nous recommandons de partir de l’usage de la note, puis de recueillir des observations distinguant documents, juges et répétitions. Ce protocole permet de confronter la projection aux conditions de la décision envisagée.

Pour aller plus loin

Sources