Meilleur document ou juge différent ? Évaluer un agent qui produit des présentations de banque d’investissement

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 23 octobre 2026.

En bref

Évaluer un agent IA avec un juge LLM demande de fixer la configuration du juge et de répéter la notation avant de conclure à un progrès. C’est la recommandation de L. Gibert (AIData2Action), M. Despujols et A.-L. Rochet (TW3 Partners) dans Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication arXiv v1 du 30 septembre 2026. Sur les livrables de développement, en notation du texte seul débarrassé des marqueurs de gabarit, le système complet devance de 20,4 à 33,6 points sur 95 le même modèle utilisé sans son encadrement logiciel avec des instructions courtes. Dans cette même passe, face à Opus en génération directe avec des instructions courtes, l’écart va de -4,7 à +0,8 point selon le juge. Au tour 7, l’analyse attribue 59 % de la variance des notes au juge et 14 % au document, pour ce panel uniquement. Les auteurs recommandent un contrôle par des experts humains avant de se fier au niveau absolu des notes.

1. Quelle question l’étude pose-t-elle ?

L’étude cherche à déterminer si une hausse de note traduit un meilleur document ou un changement dans sa notation. Dans leur prépublication arXiv du 30 septembre 2026, les auteurs décrivent une boucle de développement où les juges signalent des défauts qui orientent les modifications du système, puis mesurent les effets de ces modifications. Le même instrument guide donc le travail et en évalue le résultat.

Dans les présentations de crédit, de financement ou de transaction étudiées, une recommandation doit reposer sur des chiffres cohérents entre les pages et rattachés à leurs sources. La question dépasse ainsi la qualité de rédaction : elle porte sur la manière de mesurer le progrès d’un système qui produit une analyse financière. Les auteurs observent aussi que les notes peuvent changer lorsque les documents restent identiques.

2. Quel système a été évalué ?

Le système associe un modèle hébergé sur site à un ensemble logiciel qui encadre la production des documents. Dans le système décrit par Gibert et ses coauteurs sur arXiv, le 30 septembre 2026, un harnais agentique désigne cet ensemble de calculs, de règles de rédaction et de contrôles autour du modèle Qwen3.8-27B, de 27 milliards de paramètres.

À partir des données financières collectées et du mandat, un moteur déterministe construit un registre de faits : valeur, unité, période et provenance. Il conserve les sources et les formules lorsqu’elles s’appliquent. Une information détenue par la banque mais indisponible est enregistrée comme un manque explicite.

Les plans de pages encadrent la présentation ; la rédaction combine des phrases issues du registre, des gabarits et des interventions du modèle. Les contrôles rejettent les valeurs numériques non justifiées après génération.

3. Comment les présentations ont-elles été notées ?

Les auteurs suivent 17 livrables sur huit tours de développement, puis mobilisent huit juges de six familles de modèles, selon le protocole publié sur arXiv le 30 septembre 2026. Les exercices reposent sur des informations publiques et couvrent la relation avec les entreprises, le crédit, le financement et les fusions-acquisitions, répartis en quatre sessions.

La grille sur 100 reprend les critères d’une relecture de banquier senior. La cohérence et la possibilité de vérifier les éléments comptent pour 20 points. Le juge fournit les notes, leurs justifications et un verdict : document non envoyable, envoyable après corrections ou envoyable en l’état. Les documents portent des lettres aléatoires ; leur auteur et leur tour de développement sont cachés au juge.

Les corrections entre les tours répondent surtout aux défauts relevés par les juges, mais aussi aux retours écrits d’un praticien. Pour examiner l’effet de la présentation, les auteurs réalisent des passes sur le texte seul. La passe principale retire les marqueurs de gabarit et supprime la composante visuelle de la note, ramenée à 95.

4. Le système complet fait-il mieux que le même modèle sans harnais ?

Chaque juge ayant comparé les présentations donne en moyenne l’avantage au système complet dans les cas étudiés. Selon les résultats publiés sur arXiv le 30 septembre 2026, face au modèle seul avec des instructions courtes, appelées « prompt court », l’écart moyen va de 8,5 points pour GPT-6 Luna Pro à 16,9 points pour Opus. Selon le juge, le harnais l’emporte sur 15 à 17 des 17 livrables ; tous les intervalles calculés par rééchantillonnage des documents excluent zéro.

Sur le texte seul nettoyé, les cinq juges donnent l’avantage au harnais pour les 17 livrables, avec des écarts de 20,4 à 33,6 points sur 95. Renforcer le prompt du modèle seul ne comble pas non plus l’écart observé. Cette dernière comparaison change toutefois aussi les conditions d’exécution du modèle et son effort de raisonnement : elle n’isole pas l’effet du prompt.

5. Et face à Opus qui rédige sans harnais ?

Les notes deviennent proches, avec un avantage dont le sens dépend du juge. Dans la comparaison publiée sur arXiv le 30 septembre 2026, les écarts ci-dessous correspondent à la note du système avec harnais moins celle d’Opus en génération directe.

Sur le texte seul, seul l’intervalle calculé à partir des notes du juge Opus exclut zéro, en faveur des textes d’Opus. Ce calcul au niveau des documents ignore toutefois la dépendance entre les présentations notées ensemble. Une préférence pour ses propres productions reste une explication possible, sans que l’étude permette de l’établir. Les auteurs signalent aussi un biais possible lié à la longueur des textes. Enfin, l’absence de différence statistiquement significative ne démontre pas l’équivalence des systèmes.

6. Les juges s’accordent-ils entre eux et avec eux-mêmes ?

Ils s’accordent davantage sur le progrès d’ensemble que sur le classement des documents finaux. Dans les mesures publiées sur arXiv le 30 septembre 2026, deux passes d’Opus sur des documents identiques donnent des coefficients ICC de 0,77 au tour 7 et de 0,78 au tour 8. L’ICC mesure ici l’accord absolu entre les notes ; les intervalles de confiance à 95 % vont respectivement de 0,31 à 0,92 et de 0,44 à 0,89.

Au tour 7, la décomposition attribue 59 % de la variance au juge, 14 % au document et 27 % à leur interaction et à l’erreur. Ces proportions décrivent le panel retenu par commodité ; elles ne se généralisent pas à d’autres juges. Les auteurs soulignent également que regrouper les tours masque un accord plus faible sur le classement final.

7. Quelles limites les auteurs écrivent-ils ?

Les auteurs présentent une comparaison exploratoire, limitée par son périmètre et par les conditions de développement. Dans leur prépublication arXiv du 30 septembre 2026, ils précisent que l’étude ne dispose d’aucune référence notée par des banquiers : l’accord entre juges ne suffit donc pas à établir l’exactitude ou l’acceptabilité professionnelle des documents.

Le périmètre de 17 livrables en quatre sessions limite aussi les conclusions statistiques. Les intervalles calculés par document ignorent la dépendance entre documents d’une même session ; les tests sont exploratoires et ne corrigent pas la multiplication des comparaisons.

Le système complet a bénéficié de corrections répétées, en partie guidées par Opus, tandis que les productions directes correspondent à un seul tirage, sans effort d’adaptation comparable ni tâches réservées au test. La comparaison porte sur le harnais dans son ensemble ; aucune expérience ne retire séparément ses composants pour mesurer leur contribution. Les lacunes des archives empêchent également de quantifier la part du texte rédigée par le modèle, car elles ne relient pas chaque document à l’ensemble du code et des entrées utilisés.

8. Que retenir pour évaluer un agent dans une organisation ?

Il faut maintenir la configuration du juge et répéter les notations avant d’interpréter un petit écart. Dans leur prépublication arXiv du 30 septembre 2026, les auteurs formulent huit recommandations, reprises ici dans leur ordre :

1. Répéter les notations en répartissant aléatoirement les documents entre sessions.
2. Traiter les documents notés ensemble comme un groupe dans les tests de changement.
3. Estimer la variabilité par document et par campagne, avec son incertitude ; une seule passe ne suffit pas à conclure sur un faible écart.
4. Comparer avec un juge et une configuration identiques ; évaluer tout changement de juge sur un ensemble commun de documents.
5. Examiner la note continue lorsque le verdict est proche de son seuil.
6. Consigner le modèle, le fournisseur, la date, l’effort de raisonnement et le format des entrées de chaque appel.
7. Ajouter une passe sur le texte seul si la présentation diffère et vérifier le lien entre longueur et note.
8. Faire contrôler un sous-ensemble par des experts humains avant de se fier au niveau absolu des notes.

Pour une équipe projet, nous recommandons de prévoir ces vérifications dès le lancement de l’évaluation, afin de documenter les écarts observés et leur incertitude.

FAQ

Les réponses suivantes s’appuient sur la prépublication arXiv de Gibert, Despujols et Rochet du 30 septembre 2026.

Qu’est-ce qu’un juge LLM ?
Un juge LLM désigne un modèle de langage chargé de noter un document selon une grille et de rendre un verdict argumenté. Dans cette étude, ses retours orientent également les corrections du système entre les tours.

L’étude décrit-elle un déploiement dans une banque ?
Les livrables évalués sont des exercices construits sur des informations publiques. Les présentations restent privées parce qu’elles contiennent des noms de banques et d’émetteurs ; ce périmètre ne documente pas un déploiement chez un client.

Quels modèles ont servi de juges ?
Le panel comprend Claude Opus 5.5, Sonnet 5.5, Haiku 4.5, DeepSeek V4.1 Flash, GLM 5.3 FlashX, GPT-6 Luna Pro, Gemini 3.8 Flash et Qwen3.8-27B sur le serveur du générateur. Les versions d’Opus et de Sonnet utilisées pendant le développement n’ont pas pu être figées.

Un accord entre juges prouve-t-il qu’un document est bon ?
Les auteurs écrivent que cet accord n’établit ni l’exactitude ni l’acceptabilité professionnelle, en l’absence de référence notée par des banquiers. Ils recommandent de faire vérifier un sous-ensemble de documents par des experts humains avant de se fier aux niveaux absolus.

Les données de l’étude sont-elles disponibles ?
Les scores anonymisés, scripts d’analyse et registre d’exclusion sont disponibles sur demande auprès des auteurs. Les documents, les verdicts détaillés, les entrées du générateur et l’outil d’extraction des scores restent privés.

Combien de notations l’étude a-t-elle produites ?
L’archive contient 1 666 enregistrements d’évaluation, dont 1 661 avec un total exploitable. Ce sont des mesures répétées des mêmes livrables ; elles ne constituent pas autant de documents indépendants.

Pour aller plus loin

• Noter deux fois les mêmes documents avec un juge LLM : répétabilité, dérive et plus petit écart détectable
• Huit modèles juges sur les mêmes présentations : la part du juge dans la note dépasse celle du document
• Un modèle ouvert de 27 milliards de paramètres, hébergé sur site et encadré par un harnais, comparé à Opus en génération directe
• Évaluer un système d’IA avec un juge LLM : le protocole en huit points tiré de notre étude
• Présentations de financement produites par un agent : vérifier chaque chiffre avant qu’il entre dans le document

Sources

• arXiv, L. Gibert, M. Despujols et A.-L. Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, v1 du 30 septembre 2026, consulté le 9 octobre 2026.