Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 18 octobre 2026.
En bref
Dans l’étude publiée sur arXiv le 30 septembre 2026, un modèle de 27 milliards de paramètres hébergé sur site et encadré approche les notes d’Opus. Avec le prompt court d’Opus en génération directe, les marges vont de -2,1 points pour le juge Opus à +4,3 pour Qwen. Face au même modèle sans harnais et avec un prompt court, le gain va de 8,5 points pour GPT-6 Luna Pro à 16,9 pour Opus. Sur le texte seul, face à Opus avec le prompt court, l’écart va de -4,7 points pour le juge Opus à +0,8 pour GLM ; seul l’intervalle du juge Opus exclut zéro. Les auteurs signalent une possible auto-préférence du juge Opus et un possible biais lié à la longueur des documents. L’étude mesure le système complet, sans isoler la contribution des calculs, des gabarits et des contrôles.
1. Que compare exactement l’étude ?
L’étude compare les présentations du tour 7 produites avec un harnais à des présentations rédigées directement par le même modèle ou par Opus. Dans Better Deck or Different Judge?, déposé sur arXiv le 30 septembre 2026, Ludovic Gibert, Matis Despujols et André-Louis Rochet évaluent 17 livrables de financement, d’analyse de crédit, de suivi d’entreprise et de conseil en opérations financières. Ce sont des exercices construits à partir d’informations publiques.
Un harnais agentique désigne ici l’ensemble logiciel qui encadre le modèle : moteur de calcul, registre de faits sourcés, plans de pages, gabarits de rédaction et contrôles de sortie. Le système étudié associe cet ensemble à Qwen3.8-27B hébergé sur site. Le registre porte les valeurs, leurs unités, leurs périodes et leur provenance. Des contrôles rejettent les nombres sans justification et recherchent les contradictions entre le récit et les faits enregistrés.
La comparaison comprend les conditions suivantes, décrites dans le protocole des auteurs :
| Production évaluée | Consigne et encadrement |
|---|---|
| Modèle sur site avec harnais | Calculs, registre, plans de pages, rédaction et contrôles |
| Même modèle sur site, en génération directe | Prompt court, puis rendu dans un gabarit neutre |
| Même modèle appelé par API, en génération directe | Prompt renforcé, avec grille de notation et conventions métier |
| Opus en génération directe | Prompt court ou prompt renforcé, sans harnais |
Le prompt renforcé précise notamment les titres orientés vers l’action, la synthèse, les scénarios et la cohérence des chiffres entre pages. Les modèles reçoivent des données financières collectées et un mandat. Les consignes d’Opus archivées correspondent aux fichiers d’entrée actuels. Les archives disponibles ne permettent toutefois pas de vérifier l’égalité exacte avec les entrées historiques du harnais.
2. Que gagne le modèle avec le harnais ?
Le gain de note est net face au même modèle en génération directe. Selon Gibert, Despujols et Rochet, septembre 2026, avec le prompt court, GPT-6 Luna Pro mesure un avantage de 8,5 points et préfère le harnais sur 15 livrables sur 17 ; Opus mesure 16,9 points et le préfère sur les 17. Tous les juges ayant évalué ces conditions donnent au système encadré une moyenne supérieure.
Une partie de l’écart relève de la présentation, puisque la génération directe utilise un gabarit neutre. L’avantage demeure lorsque les auteurs retirent la qualité visuelle et le critère de justification du choix de l’établissement : les critères restants portent notamment sur la recommandation, la profondeur financière et la cohérence.
Dans la moyenne des juges du tableau par critère, la cohérence et l’auditabilité présentent le plus grand écart relatif parmi les critères de fond. L’avantage atteint 19 % du poids de ce critère face au prompt court et 32 % face au prompt renforcé. Ces pourcentages décrivent une marge de notation rapportée au poids du critère, et non un taux de documents exempts d’erreur.
Le prompt renforcé conserve un écart en faveur du harnais. Dans les sessions où les documents sont évalués ensemble, cet écart atteint 10,6 points avec GPT-6 Luna Pro et 20,4 avec Opus. Les auteurs préviennent toutefois que la comparaison dans une même session peut accentuer le contraste entre documents.
La comparaison sur le texte seul revient au modèle en génération directe avec le prompt court. Après retrait des marqueurs de gabarit, GLM mesure un gain de 20,4 points et Sonnet de 33,6 points sur une échelle de 95. Tous les juges de cette passe préfèrent le texte du harnais sur les 17 livrables. Cette mesure retire la qualité visuelle et utilise des sessions communes : elle se lit séparément des notes attribuées aux présentations complètes.
3. Le modèle encadré rejoint-il Opus sans harnais ?
Les notes sont proches dans cette étude, avec des écarts dont le sens dépend du juge. Dans la comparaison des présentations complètes publiée par les auteurs sur arXiv, septembre 2026, le prompt court donne une marge de -2,1 points avec le juge Opus et de +4,3 avec le juge Qwen. Avec le prompt renforcé d’Opus, les bornes deviennent -3,4 points pour le juge Opus et +1,6 pour DeepSeek.
En moyenne sur les juges, les écarts par critère de fond face à Opus avec le prompt court restent proches de zéro. L’avantage restant tient surtout à la qualité visuelle. Nous recommandons donc à la direction métier de distinguer, dans sa lecture, la qualité du raisonnement et celle du document rendu.
La passe sur le texte seul précise ce constat. Face à Opus en génération directe avec le prompt court, le juge Opus donne au harnais une marge de -4,7 points, tandis que GLM lui donne +0,8 point. Seul l’intervalle calculé par rééchantillonnage des documents pour le juge Opus exclut zéro, en faveur du texte d’Opus. Les auteurs rappellent qu’une différence non significative ne démontre pas une égalité de qualité. Ces notes concernent les livrables et les configurations évalués.
4. Quels biais peuvent peser sur la comparaison ?
L’auto-préférence du juge et la longueur des documents peuvent peser sur les notes. Les auteurs de l’étude de septembre 2026 traitent ces explications comme des possibilités à examiner.
Le juge Opus attribue sa plus petite marge au harnais dans les comparaisons avec Opus. Face au prompt court, il préfère le contenu produit par Opus de 3,4 points sur les critères de fond, avec un intervalle allant de 0,2 à 6,9 points. Ce constat est compatible avec une auto-préférence ; l’étude ne démontre pas qu’elle en est la cause. Du côté de Qwen, la préférence pour le harnais est également observée chez GPT-6 Luna Pro, ce qui limite l’attribution au seul modèle juge.
Dans cette comparaison textuelle avec les générations directes au prompt court, les longueurs médianes sont de 4 996 mots avec harnais, 3 575 pour Opus et 2 061 pour le modèle sans harnais. Face à Opus, la corrélation de rang entre différence de longueur et marge de notation va de 0,02 pour GLM à 0,54 pour Opus. Les auteurs maintiennent donc l’hypothèse d’un biais de longueur, y compris face au modèle sans harnais, dont les textes sont plus courts.
Notre recommandation est de fixer une longueur cible lors d’un essai métier et d’examiner les désaccords entre juges sur les passages concernés. Cette revue doit porter sur l’utilité des informations ajoutées, au regard du livrable attendu.
5. Quelle part du résultat vient de chaque composant ?
Le résultat porte sur l’assemblage complet, sans attribution séparée à ses composants. Dans leurs limites méthodologiques, septembre 2026, les auteurs indiquent qu’aucune ablation appariée, c’est-à-dire aucun essai retirant un composant dans des conditions comparables, n’isole les calculs, les gabarits ou les contrôles.
La comparaison oppose aussi des trajectoires de développement différentes. Le harnais a bénéficié de corrections répétées, guidées en partie par les retours d’Opus. Les références en génération directe correspondent à un seul tirage, sans budget d’adaptation comparable ni tâches de test réservées.
Autre différence à conserver dans toute reprise du résultat : le modèle au prompt renforcé passe par API, avec un effort de raisonnement différent de la condition sur site. L’effet du prompt se mêle donc à ceux du service d’exécution et du réglage de raisonnement.
Enfin, des passages rédigés dans les gabarits se retrouvent dans les documents évalués. Les archives disponibles ne permettent pas de mesurer la part de prose écrite par le modèle. Le gain observé doit être attribué au système qui produit le livrable.
6. Sur site ou par API : qu’apporte l’étude à la décision ?
L’étude apporte un motif pour tester un modèle ouvert encadré sur un livrable métier défini. La fiche Qwen sur Hugging Face, relevée le 9 octobre 2026, donne accès aux poids, déclare une licence Apache 2.0 et indique 27 milliards de paramètres pour la partie modèle de langage. Les résultats de l’étude montrent ce qu’un système utilisant ce modèle sur site obtient dans ce périmètre de comparaison.
Notre lecture de cabinet est de faire porter l’essai sur la chaîne de production entière. Nous recommandons de définir le livrable attendu, les faits à justifier et les contrôles nécessaires, puis de comparer les options sur des dossiers réservés à l’évaluation. Maintenir la configuration du juge, répéter les notations et faire relire des documents par les professionnels concernés reprend les précautions proposées par les auteurs.
Pour préparer l’arbitrage, nous recommandons aussi de documenter l’emplacement de chaque traitement, les données transmises et la responsabilité d’exploitation. L’étude porte sur les notes des livrables ; l’arbitrage entre hébergements exige une analyse distincte des coûts, des délais et des flux de données.
Le cadre de décision construire ou acheter de TW3 Partners et l’article sur l’hébergement cloud ou sur site dans le secteur public complètent cette lecture.
FAQ
Qu’est-ce qu’un harnais agentique ?
C’est l’ensemble logiciel qui encadre le modèle pour produire un livrable. Dans l’étude arXiv de septembre 2026, il associe calculs, registre de faits, plans de pages, gabarits et contrôles des sorties.
Le modèle étudié est-il ouvert ?
La fiche Qwen relevée le 9 octobre 2026 donne accès aux poids et déclare une licence Apache 2.0. Pour reproduire un essai, nous recommandons de consigner la version exacte du modèle et sa configuration d’exécution.
Un modèle sur site encadré vaut-il un modèle commercial ?
Sur les livrables étudiés, leurs notes sont proches. Les auteurs, septembre 2026, précisent que l’évaluation ne dispose pas d’une référence notée par des banquiers : l’accord entre juges ne prouve pas l’acceptabilité professionnelle.
Pourquoi le juge Opus donne-t-il la plus petite marge au harnais ?
L’auto-préférence est une explication possible, sans effet causal identifié dans l’étude de septembre 2026. Nous recommandons de comparer les appréciations de plusieurs familles de juges pour examiner cette dépendance.
Un document plus long est-il mieux noté ?
Dans la comparaison sur le texte seul au prompt court, les productions du harnais sont les plus longues en médiane. Les auteurs, septembre 2026, signalent qu’un biais de longueur reste possible ; ce constat ne constitue pas une consigne pour allonger les documents.
Quelle part du gain vient des calculs, des gabarits ou des contrôles ?
Leur contribution respective reste indéterminée dans l’étude de septembre 2026. Il faudrait comparer des variantes retirant chaque composant, à conditions d’évaluation comparables, pour l’estimer.
Pour aller plus loin
- Meilleur document ou juge différent ? Évaluer un agent qui produit des présentations de banque d’investissement.
- Build vs buy IA générative : cadre de décision pour les DSI.
- Cloud souverain ou hébergement sur site : où déployer un projet d’IA générative dans le secteur public.
- Huit modèles juges sur les mêmes présentations : la part du juge dans la note dépasse celle du document.
Sources
- Ludovic Gibert, Matis Despujols et André-Louis Rochet, arXiv, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, version 1 du 30 septembre 2026, consulté le 9 octobre 2026. Texte intégral lu : version HTML et PDF de l’étude.
- Qwen, fiche du modèle Qwen3.8-27B, Hugging Face, consulté le 9 octobre 2026.