Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 27 octobre 2026.
En bref
Vérifier le passage des réponses d’une IA au tableau de notes permet de savoir sur quelles évaluations fonder une décision. Dans Better Deck or Different Judge?, prépublication déposée sur arXiv le 30 septembre 2026, les auteurs récupèrent une note globale dans 1 661 des 1 666 évaluations enregistrées. Ils gardent les notes avec leur précision d’origine et appliquent une règle explicite lorsque la même réponse comporte des totaux différents. Les notes manquantes sont laissées de côté dans les calculs, sans valeur de remplacement. Les essais écartés restent répertoriés, avec des motifs encore partiellement documentés pour les essais préliminaires. TW3 recommande donc de vérifier les notes retenues et les évaluations qui ont effectivement servi au calcul avant d’interpréter les résultats.
1. Que compte une ligne du tableau d’évaluation ?
Une ligne représente un enregistrement d’évaluation rattaché à un livrable, à distinguer du document lui-même. Dans la prépublication déposée sur arXiv le 30 septembre 2026, les présentations sont des exercices construits à partir d’informations publiques. Ludovic Gibert, d’AIData2Action, Matis Despujols et André-Louis Rochet, de TW3 Partners, étudient leur production et leur notation.
Le livrable désigne ici la présentation évaluée. Le total récupérable est la note globale que le traitement peut extraire de la réponse. Les notes par critère détaillent l’appréciation ; le verdict exprime une catégorie de décision, telle que l’envoi après corrections. Ces champs doivent pouvoir se lire séparément : disposer d’un total ne renseigne pas à lui seul sur la présence des autres champs.
La Table 9 répartit ainsi l’archive :
| Phase | Enregistrements | Totaux récupérables |
|---|---|---|
| Développement | 187 | 187 |
| Panel sur les documents de développement | 493 | 491 |
| Comparaisons au prompt court | 238 | 238 |
| Comparaisons au prompt renforcé | 238 | 236 |
| Première passe textuelle | 255 | 254 |
| Passe textuelle nettoyée | 255 | 255 |
| Total | 1 666 | 1 661 |
La phase au prompt renforcé comprend les présentations du système avec harnais, c’est-à-dire son dispositif de production, renotées dans des sessions mixtes. Une présentation peut donc occuper plusieurs lignes, selon la condition testée ou le passage du juge. Pour interpréter l’effectif total, il faut compter ces opérations de notation séparément des documents évalués.
2. Comment conserver ce que le juge a réellement écrit ?
L’extraction désigne la transformation des réponses brutes en champs utilisables pour l’analyse, en conservant la précision des notes. L’annexe I de la prépublication déposée sur arXiv le 30 septembre 2026 décrit un programme qui reconnaît les intitulés anglais total et score et préserve les valeurs fractionnaires. Les auteurs indiquent avoir vérifié les scores extraits contre les réponses originales.
Le protocole demande aussi un bloc JSON final aux juges du panel utilisant une API ou le serveur sur site. Cette consigne organise la réponse attendue. Dans la méthode proposée par TW3, la relecture consiste à vérifier les champs présents puis à rapprocher les valeurs extraites de leur texte d’origine.
TW3 recommande de conserver la réponse brute et la version de la règle d’extraction avec le tableau livré. Le relecteur doit pouvoir retrouver le passage ayant fourni chaque note. Si la règle évolue, sa version permet de distinguer les traitements successifs. Cette recommandation porte sur les pièces à archiver ; le code d’extraction de l’étude reste privé.
3. Quelle valeur retenir quand le JSON et la prose divergent ?
La règle publiée retient le total du JSON final et consigne chaque divergence avec le total écrit dans la prose. Les auteurs l’énoncent dans le protocole de leur prépublication déposée sur arXiv le 30 septembre 2026. Cette priorité définit la valeur utilisée dans l’analyse ; elle ne démontre pas que le JSON contient une appréciation plus juste.
Pour un nouveau projet, TW3 recommande de fixer cette priorité avant l’analyse et de conserver les valeurs concurrentes dans la trace du traitement. Cette décision préalable est une recommandation du cabinet.
| Valeur | Rôle dans le traitement décrit |
|---|---|
| Total annoncé dans la prose | Valeur à comparer au total du JSON final pour repérer une divergence |
| Total du JSON final | Valeur retenue lorsque les représentations divergent |
| Somme recalculée des critères | Contrôle arithmétique distinct du choix entre les totaux |
La sélection d’une représentation et la vérification d’une addition répondent à des questions différentes. Pour relire le résultat, il faut pouvoir identifier la valeur retenue, la règle appliquée et l’éventuelle anomalie. La somme recalculée garde ainsi son rôle de contrôle.
4. Quels contrôles effectuer sur une note complète ?
Le contrôle arithmétique compare la somme des notes par critère au total annoncé, après conservation de leur précision. Selon l’annexe I de la prépublication déposée sur arXiv le 30 septembre 2026, cette concordance est observée dans 185 des 187 enregistrements de développement. Dans les configurations contrôlées d’Opus et de Sonnet, tous les enregistrements comportent des critères complets, y compris dans les passes textuelles.
Avant de lancer l’addition, vérifiez la présence des critères nécessaires, puis conservez son résultat comme un contrôle distinct. Un critère absent et une somme incohérente doivent rester identifiables séparément dans le dossier remis au responsable technique. Le dénominateur du contrôle dépend alors des observations effectivement vérifiables.
Une addition exacte établit une cohérence numérique locale. L’appréciation du document demande une autre vérification : les auteurs soulignent l’absence de corpus de référence noté par des banquiers et la limite qui en découle pour établir l’exactitude ou l’acceptabilité professionnelle. Les différences entre juges font l’objet de l’article Huit modèles juges sur les mêmes présentations : la part du juge dans la note dépasse celle du document.
5. Comment traiter un total ou un verdict absent ?
Suivez l’absence champ par champ, puis indiquez l’effectif disponible pour l’analyse concernée. L’annexe I de la prépublication déposée sur arXiv le 30 septembre 2026 signale quatre totaux absents sur 918 enregistrements des juges par API et sur site. Haiku manque d’un total et de dix verdicts catégoriels. Un total exploitable, une grille complète et un verdict disponible correspondent ainsi à des comptages distincts.
La règle de l’étude est explicite : les analyses omettent les scores manquants, et les totaux absents ne sont pas imputés. Pour décrire fidèlement ce traitement, on conserve donc l’absence. Lui substituer zéro, une moyenne ou une somme reconstruite changerait le jeu de valeurs utilisé.
La légende de la Table 3 distingue également une cellule vide, qui signifie que le juge n’a pas évalué cette condition, d’un compte sur 16, qui signale un score de livrable manquant. Ces situations doivent rester lisibles dans le tableau remis à la DSI : l’une relève du périmètre d’évaluation, l’autre de la disponibilité d’une mesure attendue.
Accompagnez chaque résultat de son effectif réellement analysé et du champ concerné. La règle observée dans ce papier ne constitue pas une prescription statistique universelle. Elle permet ici de comprendre comment les auteurs passent de l’inventaire des évaluations aux valeurs employées dans leurs analyses.
6. Quels résultats faut-il maintenir hors du jeu principal ?
Dans l’étude, les essais écartés du jeu principal restent identifiables dans un registre d’exclusion. L’audit d’archive décrit dans l’annexe I de la prépublication déposée sur arXiv le 30 septembre 2026 a retrouvé :
- cinq sessions pilotes contenant 21 scores hors de la collecte principale ;
- trois verdicts antérieurs fondés sur d’autres ensembles de présentations ou formats ;
- une réponse de test tronquée ;
- 25 rapports de calibration antérieurs contenant 50 lignes relatives à l’ordre de présentation.
Le papier précise que les archives de calibration reposent sur des grilles, des candidats et des règles d’admissibilité différents de ceux de l’étude principale. Les auteurs les conservent dans un registre d’exclusion. Cette séparation permet de connaître leur existence tout en gardant explicite le périmètre des scores réunis dans l’analyse.
La réserve historique demeure : les motifs d’exclusion des pilotes n’ont pas été entièrement consignés au moment des essais, ce qui limite la vérification rétrospective de la sélection. L’inventaire retrouvé et la justification d’une décision au moment où elle a été prise sont des pièces différentes.
Pour une nouvelle campagne, enregistrez la date de la décision, son motif et les observations concernées au moment de l’exclusion. Le responsable qui relit les résultats peut alors rapprocher le registre du protocole applicable.
7. Quelles pièces permettent de relire le tableau final ?
Reliez chaque valeur utilisée à sa réponse d’origine et chaque exclusion à une décision documentée. Le dossier réunit alors les pièces suivantes :
- les réponses brutes et la version de la règle d’extraction ;
- la priorité entre totaux, avec la trace des divergences ;
- la vérification des fractions et des sommes ;
- les effectifs par phase et par champ disponible ;
- le registre des exclusions et leurs motifs datés.
Cette liste constitue une synthèse de méthode du cabinet. La disponibilité réelle des pièces de l’étude est plus restreinte : la section sur la reproductibilité de la prépublication déposée sur arXiv le 30 septembre 2026 annonce les scores anonymisés, les scripts d’analyse et le registre d’exclusion sur demande aux auteurs. Les présentations, les textes des verdicts, les entrées du générateur et le programme d’extraction restent privés.
Les auteurs signalent également une chaîne incomplète de provenance reliant les générations et les évaluations à leurs versions.
FAQ
Les réponses ci-dessous se rapportent au protocole et aux annexes de Better Deck or Different Judge?, prépublication déposée sur arXiv le 30 septembre 2026.
Un JSON valide suffit-il à obtenir une note exploitable ?
La validité syntaxique ne démontre ni la présence de tous les champs attendus ni la fidélité de leur extraction. Le papier donne priorité au total du JSON final, vérifie les scores contre les réponses brutes et conserve les absences.
Faut-il arrondir les notes avant d’additionner les critères ?
Le traitement publié conserve les notes fractionnaires. Le contrôle de la somme intervient avec cette précision ; arrondir avant ce contrôle modifierait les valeurs comparées.
Le total retenu est-il toujours la somme des critères ?
Le papier donne priorité au JSON final lorsqu’il diverge de la prose. La somme des critères sert à un contrôle distinct, sans règle publiée de remplacement systématique du total par cette somme.
Pourquoi un résultat peut-il porter sur moins de livrables ?
Un score attendu peut manquer, tandis qu’une condition peut aussi ne pas avoir été évaluée. La légende de la Table 3 distingue ces situations ; il faut lire le résultat avec son périmètre effectif.
Les enregistrements répétés constituent-ils de nouveaux documents ?
L’archive comprend plusieurs évaluations des mêmes livrables. Le nombre d’enregistrements ne mesure donc pas la taille d’un corpus de documents indépendants.
Le code d’extraction du papier est-il public ?
Le programme d’extraction reste privé. Les scripts d’analyse, les scores anonymisés et le registre d’exclusion sont disponibles sur demande aux auteurs.
Pour aller plus loin
- Meilleur document ou juge différent ? Évaluer un agent qui produit des présentations de banque d’investissement.
- Huit modèles juges sur les mêmes présentations : la part du juge dans la note dépasse celle du document.
- Trois erreurs trouvées et corrigées avant publication : l’audit interne d’un papier de recherche appliquée.
- Rédiger un prompt de juge LLM : critères, preuves et corrections attendues.
Sources
- arXiv, Ludovic Gibert, Matis Despujols et André-Louis Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, version initiale. Protocole, contrôle arithmétique, limites, reproductibilité et annexe I. Texte intégral et PDF, consultés le 9 octobre 2026.