Kappa de Cohen : interpréter les désaccords entre verdicts d’un juge LLM

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 28 octobre 2026.

En bref

Le kappa de Cohen mesure à quel point deux séries de verdicts concordent, en tenant compte de la fréquence de chaque catégorie. La documentation officielle de scikit-learn, sans date de publication affichée définit cette correction de l’accord observé. Un juge LLM est un modèle de langage auquel on demande d’évaluer un document selon des consignes. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet étudient 17 livrables construits à partir d’informations publiques. Leurs résultats montrent pourquoi il faut lire ensemble le nombre de verdicts identiques et le kappa. Pour un responsable de validation, cette lecture sert à apprécier la stabilité de l’évaluation avant de lui donner un rôle dans une décision métier.

1. Pourquoi le pourcentage d’accord ne suffit-il pas ?

Le pourcentage d’accord compte les verdicts identiques ; le kappa tient aussi compte de la fréquence avec laquelle chaque évaluateur utilise les catégories. Selon la documentation de scikit-learn, le coefficient compare l’accord observé à un accord attendu lorsque les étiquettes sont attribuées aléatoirement, avec des probabilités estimées séparément pour chaque évaluateur.

Une distribution marginale désigne ici la répartition des verdicts d’un évaluateur entre les catégories, indépendamment des verdicts de l’autre. On dispose donc d’une distribution pour chaque série. Le code officiel de scikit-learn associé à la documentation, sans date de publication affichée, permet d’expliciter le calcul de l’accord attendu : pour chaque catégorie, on multiplie sa fréquence dans la première série par sa fréquence dans la seconde, puis on additionne ces produits.

La formule documentée est κ = (pₒ − pₑ) / (1 − pₑ). Le terme pₒ représente la proportion d’accords effectivement observés. Le terme pₑ représente l’accord attendu d’après les distributions marginales. Le numérateur mesure leur différence ; le dénominateur la rapporte à l’écart entre cet accord attendu et l’accord maximal.

Lorsque le coefficient est défini, une valeur nulle correspond à un accord égal à celui attendu selon ce calcul. Une valeur négative indique un accord inférieur à cette référence. Le mot « attendu » désigne un calcul fondé sur les fréquences de catégories : il ne décrit ni une cible métier ni le comportement souhaitable du juge.

2. Comment préparer les catégories comparables ?

Les verdicts doivent porter sur les mêmes documents et employer des catégories dont le sens reste stable entre les passes. Dans le protocole de Gibert, Despujols et Rochet, déposé le 30 septembre 2026, le juge peut répondre que le document est non envoyable, envoyable après une passe de corrections ou envoyable tel quel. Ces catégories décrivent une appréciation de livraison, distincte de la note numérique également demandée.

Pour un protocole interne, TW3 recommande de rédiger le dictionnaire des catégories avant la collecte. Chaque étiquette doit avoir une définition utilisable par les personnes qui préparent les consignes et celles qui relisent les réponses. Conservez ensuite une ligne par document, avec le verdict de chaque passe et l’identifiant de la configuration employée.

La documentation de scikit-learn précise que le paramètre labels permet de choisir les catégories prises en compte ; par défaut, la fonction retient toutes celles qui apparaissent dans au moins une série. Une sélection de catégories doit donc être visible dans la restitution : elle participe à la définition du calcul.

Dans cette préparation, gardez une réponse absente dans un état distinct du verdict négatif. Assimiler les deux reviendrait à attribuer une décision que le juge n’a pas rendue. Le traitement technique fait l’objet de la fiche Des réponses du juge LLM au tableau de scores : extraction, valeurs manquantes et exclusions.

3. Que permet de lire le tableau du papier ?

Le tableau met en regard des accords bruts et des kappas pour des comparaisons de passes sur des fichiers identiques. Le tableau 2 de la prépublication de Gibert, Despujols et Rochet du 30 septembre 2026 fournit les résultats suivants, avec 17 livrables dans chaque colonne de comparaison.

Au cycle 7, une majorité de verdicts sont identiques, mais le kappa est proche de zéro : l’accord observé ne dépasse que faiblement l’accord attendu, au regard de l’écart possible jusqu’à l’accord maximal. Au cycle 8, les deux indicateurs sont plus élevés. La comparaison avec Sonnet présente un coefficient négatif : l’accord observé est inférieur à celui attendu à partir des fréquences de catégories. Aucune de ces lectures ne permet, à elle seule, d’identifier quel évaluateur a raison.

Le périmètre des colonnes compte. Les répétitions d’Opus portent sur les mêmes textes et images au sein de chaque cycle ; le cycle 8 ajoute un classeur de contrôles. La colonne Sonnet correspond à la passe de développement du 24 septembre 2026, dont les auteurs indiquent que la configuration exacte ne peut être reconstituée. Il faut conserver cette réserve lorsqu’on compare les coefficients.

La section consacrée aux verdicts rapporte qu’Opus n’a jamais répondu « envoyable tel quel » dans ses 153 évaluations de développement. Son comportement est donc effectivement binaire sur cet ensemble, malgré les catégories prévues. Les auteurs comptent aussi 7 changements sur 34 verdicts répétés. Ce sont des répétitions sur le corpus étudié, sans augmentation du nombre de documents indépendants.

L’annexe consacrée aux verdicts les rapproche des notes ; les textes des verdicts restent privés. L’analyse présentée ici se limite aux effectifs et coefficients publiés. Les auteurs soulignent enfin que le petit corpus et les sessions partagées limitent l’inférence : ces valeurs décrivent leurs comparaisons, sans constituer une norme de fiabilité pour un autre projet.

4. Quand utiliser un kappa pondéré ?

Une pondération est utile lorsque les catégories sont ordonnées et que la distance entre elles a un sens pour l’évaluation. La documentation de scikit-learn propose un calcul sans pondération, une pondération linéaire et une pondération quadratique. Ces options sont des possibilités méthodologiques ; elles ne sont pas présentées ici comme des analyses supplémentaires des données TW3.

Le code officiel associé à cette documentation explicite la différence. Sans pondération, tous les désaccords reçoivent le même poids. La version linéaire utilise la distance entre les positions des catégories ; la version quadratique utilise le carré de cette distance. Cette dernière accroît donc le poids relatif des désaccords entre catégories éloignées.

Pour un usage métier, faites d’abord préciser l’ordre des catégories et le sens de leur espacement. Un ordre intuitif ne suffit pas à justifier que chaque échelon ait la même importance. La pondération choisie doit exprimer une convention d’évaluation que les responsables peuvent expliquer et relire.

Il est utile de conserver l’accord brut dans le même compte rendu. Le lecteur voit ainsi combien de verdicts coïncident exactement et comment le coefficient tient compte des autres écarts. Présentez le choix de pondération avant le résultat, afin que la valeur obtenue soit interprétée avec la convention qui l’a produite.

5. Que se passe-t-il si une catégorie domine ?

Une catégorie très fréquente peut produire beaucoup d’accords attendus, ce qui change la lecture de l’accord observé. C’est une conséquence de la formule de la documentation de scikit-learn : lorsque la même catégorie domine les deux distributions, son produit de fréquences contribue fortement à pₑ. Un accord brut élevé peut alors laisser un écart limité au-dessus de cette référence.

La documentation décrit également des situations où le coefficient est indéfini, notamment lorsque les deux séries ne contiennent que la même catégorie. Dans ce cas, l’accord observé et l’accord attendu sont tous deux maximaux, et le dénominateur de la formule s’annule. La fonction documentée permet de paramétrer la valeur renvoyée dans les situations indéfinies et émet un avertissement.

Pour la restitution, distinguez cette situation d’un coefficient calculable. Une valeur de remplacement utilisée par un logiciel doit être signalée comme telle. Elle ne fournit aucune information supplémentaire sur la diversité des décisions examinées.

TW3 recommande d’accompagner le coefficient des effectifs par catégorie pour chaque passe. Cela rend visible une catégorie dominante et permet de repérer celles qui sont peu représentées. Pour ces catégories rares, décrivez les désaccords effectivement observés et les documents concernés dans le dossier de validation, sans les masquer dans une seule valeur globale. Cette pratique est une proposition de méthode pour un corpus accessible à l’équipe.

6. Comment rendre compte des désaccords utiles au métier ?

Le compte rendu doit permettre de retrouver le périmètre comparé et de comprendre les désaccords. La prépublication de Gibert, Despujols et Rochet du 30 septembre 2026 distingue explicitement l’accord de l’exactitude et de l’acceptabilité professionnelle : l’étude compare les juges entre eux et à eux-mêmes, sans ensemble de référence noté par des professionnels du métier.

Pour une validation interne, la proposition du cabinet est de préparer une restitution comportant :

• le corpus soumis et l’effectif effectivement comparable après traitement des réponses absentes ;
• les définitions des catégories, leur ordre éventuel et leurs effectifs par évaluateur ;
• le nombre de verdicts identiques, le kappa et la pondération retenue ;
• les configurations et les conditions de session, puis les cas à soumettre à une expertise indépendante.

Si les couples de verdicts sont disponibles, une matrice croisant les catégories des deux évaluateurs peut compléter cette restitution. Chaque case contient alors un effectif réellement observé. Sa lecture aide à localiser les divergences que le coefficient résume.

Pour parler d’erreur, prévoyez une référence experte distincte des verdicts comparés et documentez la manière dont elle a été établie. L’accord mesure la concordance des évaluations ; l’examen par rapport à cette référence répond à la question de leur justesse. La décision de livraison mérite ensuite sa propre règle, avec les critères et responsabilités du métier.

FAQ

Pourquoi publier l’accord brut avec le kappa ?
L’accord brut donne la proportion de verdicts identiques. Le kappa la compare à l’accord attendu à partir des fréquences de catégories de chaque évaluateur, selon la formule de scikit-learn. Les deux valeurs renseignent donc des aspects complémentaires de la comparaison.

Peut-on retrouver toutes les erreurs dans le tableau publié ?
Le tableau fournit des effectifs d’accord et des coefficients pour les passes indiquées. Les textes des verdicts restent privés, et l’étude ne dispose pas de référence experte permettant de qualifier chaque désaccord d’erreur. Les résultats agrégés doivent être lus dans ce périmètre.

Quand pondérer les désaccords entre catégories ?
Lorsque leur ordre et la distance entre elles ont un sens explicite. Scikit-learn permet des pondérations linéaire et quadratique. Le choix doit être expliqué avant le calcul et conservé dans le compte rendu.

Que signifie un kappa faible quand les verdicts se ressemblent ?
L’accord peut être proche de celui attendu du fait des fréquences de catégories. Examinez les distributions de chaque évaluateur avant de conclure sur la portée du coefficient. Vérifiez aussi que le résultat est défini et ne correspond pas à une valeur de remplacement du logiciel.

L’accord des juges prouve-t-il leur exactitude ?
Les auteurs de l’étude distinguent explicitement ces notions. Pour examiner la justesse des décisions, prévoyez une expertise indépendante. Le kappa apporte une mesure de concordance dans les conditions comparées.

Pour aller plus loin

• ICC : quelle corrélation intraclasse choisir pour évaluer un juge LLM ?
• Désaccord entre experts : construire une référence humaine sans effacer les divergences
• Quel seuil de note autorise la livraison d’un document produit par IA ?

Sources

• Gibert, Despujols et Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, consulté le 9 octobre 2026. Texte intégral HTML et PDF, tableau 2.
• Scikit-learn, documentation officielle de cohen_kappa_score, sans date de publication affichée, consulté le 9 octobre 2026.
• Scikit-learn, code officiel de cohen_kappa_score associé à la documentation, sans date de publication affichée, consulté le 9 octobre 2026.