Rédiger un prompt de juge LLM : critères, preuves et corrections attendues

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 27 octobre 2026.

En bref

Un prompt de juge LLM définit la tâche de relecture, les critères, les preuves à fournir et les conditions du verdict. Dans l’annexe E de Better Deck or Different Judge?, publiée sur arXiv le 30 septembre 2026, le juge doit lire les diapositives, puis leur texte extrait. La grille comporte huit critères et accorde à la cohérence et à l’auditabilité 20 points sur 100. Elle exige des citations avec leur page et des corrections précises pour les cinq défauts les plus graves. Cette consigne constitue un cahier des charges de relecture dont chaque demande peut être examinée avec le métier. L’étude compare toutefois les juges sans référence notée par des banquiers : leur accord ne suffit donc pas à établir la justesse professionnelle des appréciations.

1. Quelle tâche confie-t-on exactement au juge ?

La tâche consiste à relire des présentations selon une grille explicite, avec les pièces nécessaires pour justifier chaque appréciation. Une grille de notation désigne ici l’ensemble des dimensions et des règles de jugement communiquées au modèle.

Ludovic Gibert, d’AIData2Action, ainsi que Matis Despujols et André-Louis Rochet, de TW3 Partners, signent cette prépublication déposée sur arXiv le 30 septembre 2026. Elle porte sur des exercices construits à partir d’informations publiques. Son annexe E présente une traduction anglaise remise en forme de la consigne française. La lecture proposée ici en reformule le contenu.

Le prompt attribue au juge le rôle d’un cadre dirigeant en banque d’investissement, dont le domaine varie selon le livrable : marchés de capitaux de dette, crédit ou fusions-acquisitions. Ce rôle situe le contexte professionnel attendu de la relecture. Il reste une instruction adressée au modèle.

La consigne de l’annexe E prévoit de fournir les images des diapositives et le texte extrait. Le protocole masque l’auteur et le tour de production ; des lettres aléatoires identifient les documents à chaque campagne. L’ordre demandé est précis : regarder les diapositives, puis lire le texte pour citer exactement. Pour une transposition, nous recommandons de décrire aussi précisément les pièces accessibles au relecteur.

2. Comment traduire la qualité attendue en critères pondérés ?

Il faut nommer les dimensions attendues et fixer leur poids dans le total. L’annexe E publiée sur arXiv le 30 septembre 2026 répartit les points comme suit ; les intitulés sont reformulés en français.

La grille exprime ainsi ce que les auteurs demandent de regarder : le destinataire, la décision proposée, l’analyse qui l’étaye et la manière de la présenter. Le critère de recommandation précise notamment les questions auxquelles la présentation doit répondre. La cohérence et l’auditabilité occupent le poids le plus élevé du barème.

Notre lecture de cabinet consiste à discuter séparément le libellé et le poids de chaque dimension. Le libellé donne au relecteur l’objet de son examen ; le poids exprime la place que cet objet reçoit dans l’appréciation globale. Il convient de faire approuver ces choix par le responsable métier avant de les inscrire dans une consigne.

Ces poids décrivent les présentations étudiées. Pour un autre document, nous recommandons de repartir de son destinataire et de la décision attendue, puis de justifier les critères conservés. Reprendre le tableau sans cet examen laisserait implicite le sens du barème dans le nouveau contexte.

3. Quelle preuve demander pour chaque appréciation ?

La preuve attendue est une citation exacte, localisée dans le document et reliée à la justification de la note. L’annexe E d’arXiv, datée du 30 septembre 2026, formule cette exigence ainsi : « A claim without a quotation does not count. »

La consigne relie donc le critère, la note attribuée, sa justification et le passage cité avec sa page. La présence d’une citation et la pertinence de son interprétation appellent des vérifications distinctes.

Pour transposer cette demande, TW3 Partners recommande de relire les appréciations en partant du document. Le responsable vérifie d’abord que les mots cités y figurent, puis que leur contexte soutient le commentaire et la note. Il peut ensuite accepter l’appréciation, la discuter ou demander une nouvelle lecture.

La demande écrite de preuve reste distincte de son exécution : ce contrôle doit faire partie de la validation envisagée par l’équipe.

4. Comment obtenir un retour qui permette de corriger le document ?

Le retour doit associer chaque défaut prioritaire à son emplacement et à une correction précise. Dans l’annexe E publiée sur arXiv le 30 septembre 2026, cette demande porte sur les cinq défauts les plus graves, accompagnés de citations et de pages.

La section consacrée au protocole décrit l’usage des retours pendant le développement : entre les tours, des agents de programmation modifiaient les gabarits, le moteur et les prompts. Ces changements visaient principalement les défauts cités dans les verdicts précédents et s’appuyaient aussi sur les retours écrits d’un praticien. Le papier décrit ainsi une boucle entre relecture et modification du système producteur.

Pour reprendre ce principe, nous recommandons de demander un constat localisé et une action que l’équipe puisse examiner. La correction proposée doit préciser ce qu’il faudrait changer à l’endroit signalé. Le responsable du document décide ensuite de la retenir, de la modifier ou de l’écarter, en revenant à la pièce source.

Nous proposons de conserver le constat du juge et la décision du métier ensemble, pour pouvoir revoir les désaccords avant de modifier la consigne.

5. Comment définir les motifs qui interdisent un avis favorable ?

Il faut écrire le sens du verdict et les défauts qui empêchent de le prononcer. L’annexe E d’arXiv du 30 septembre 2026 définit l’avis favorable comme un envoi au destinataire ou au comité sans aucune retouche.

La consigne interdit cet avis lorsqu’un chiffre est invérifiable à partir des pages ou qu’une contradiction existe entre elles. Une formulation perçue comme mécanique et un défaut de mise en page qu’un dirigeant remarquerait constituent également des motifs de refus. Le critère de formulation relève ici d’une appréciation rédactionnelle ; nous recommandons de l’examiner comme telle lors de la validation métier.

Le total pondéré et le verdict sont des sorties séparées. Le juge doit répondre s’il enverrait le document tel quel, après un tour de corrections, ou s’il refuserait l’envoi, puis expliquer sa réponse. Il reçoit aussi l’instruction de refaire les calculs arithmétiques qu’il peut vérifier.

Notre recommandation est de faire expliciter au métier ce que signifie l’autorisation d’envoi et quels défauts la suspendent. Les motifs bloquants doivent pouvoir être relus indépendamment de la note globale. Leur application par le juge devra ensuite être examinée sur les documents évalués.

Voir aussi « Noter deux fois les mêmes documents avec un juge LLM : répétabilité, dérive et plus petit écart détectable ».

6. Que permet d’apprendre G-Eval sur la structure de la consigne ?

G-Eval distingue la description de la tâche, les critères, les étapes d’évaluation et le formulaire de réponse. Dans leur publication diffusée par l’Association for Computational Linguistics en décembre 2023, Yang Liu et ses coauteurs décrivent une méthode appliquée au résumé de texte et à la génération de dialogue.

La consigne commence par la tâche et les critères choisis. Le modèle produit ensuite des étapes d’évaluation détaillées. La méthode utilise ces éléments, le contexte et le texte à examiner pour obtenir une réponse dans un formulaire. Les auteurs précisent que les critères doivent être adaptés aux tâches évaluées.

Le rapprochement avec l’annexe E éclaire la rédaction : on peut distinguer ce que le juge examine, selon quelles dimensions, dans quel ordre et sous quelle forme il répond. Dans la consigne de présentation, les citations et les corrections font partie des sorties explicitement demandées.

G-Eval calcule aussi le score final en pondérant les notes possibles par leurs probabilités. La comparaison proposée ici concerne l’organisation des instructions. La structure de G-Eval ne constitue pas une validation de la consigne de relecture financière.

7. Que faut-il faire valider avant de reprendre cette consigne dans un autre métier ?

TW3 Partners recommande de faire examiner par le responsable métier les critères applicables, les preuves accessibles, les défauts bloquants et le sens du verdict. Chacun de ces choix constitue une proposition à tester sur les documents concernés.

La validation peut partir des pièces réellement fournies au juge. Pour chaque critère, le métier précise ce qu’il pourra vérifier dans ces pièces. Il examine ensuite les corrections proposées et les motifs de refus. Les désaccords servent à décider si la consigne doit être précisée, si une pièce manque ou si l’appréciation du juge doit être écartée.

L’annexe C de la prépublication arXiv du 30 septembre 2026 recommande de faire contrôler un sous-ensemble de présentations par des experts humains avant de se fier aux niveaux absolus des notes. La section sur les limites rappelle l’absence de référence notée par des banquiers. Elle signale également que la comparaison du système complet n’isole pas ses composants.

Pour mesurer l’effet propre d’une formulation du prompt, nous recommandons une comparaison dédiée. La rédaction de la consigne, la justesse des appréciations et leur répétabilité constituent des objets de validation distincts. Le protocole de campagne fait l’objet de l’article « Évaluer un système d’IA avec un juge LLM : le protocole en huit points tiré de notre étude ».

FAQ

Ces réponses s’appuient sur l’annexe E de Better Deck, arXiv, 30 septembre 2026, et sur G-Eval, Association for Computational Linguistics, décembre 2023.

Que doit contenir un prompt LLM-as-a-judge ?
L’annexe E organise la consigne autour de la tâche, des pièces visibles, des critères, des preuves et des sorties demandées. G-Eval distingue également la tâche, les critères et la forme de réponse. Nous recommandons d’utiliser ces éléments comme une trame à faire examiner par le métier.

Faut-il donner un rôle d’expert au modèle ?
C’est le choix fait dans l’annexe E pour situer la relecture dans un contexte professionnel. Ce rôle reste une instruction ; la validation de la qualité des appréciations demande un examen des réponses. Nous recommandons de tester l’effet de cette formulation avant de lui attribuer un bénéfice.

Peut-on reprendre les poids de la grille pour un rapport industriel ?
Les poids publiés concernent les présentations étudiées. Nous recommandons de réexaminer chaque critère avec le responsable du rapport, puis de tester le barème retenu. Cette adaptation rejoint l’attention portée par G-Eval aux critères propres à chaque tâche.

Pourquoi demander la page de chaque défaut ?
La consigne associe le constat à un passage localisable et à une correction précise. Nous recommandons au relecteur métier de retrouver ce passage et d’en vérifier le contexte. La localisation est un élément du contrôle de la justification.

Une note élevée autorise-t-elle automatiquement l’envoi ?
L’annexe E définit séparément le total et le verdict, avec des motifs qui interdisent un avis favorable. Nous recommandons donc de relire les défauts bloquants avant toute décision d’envoi. Le sens de cette décision doit être validé avec le métier.

Peut-on consulter les justifications produites pendant l’étude ?
Selon la section sur la reproductibilité de Better Deck or Different Judge?, arXiv, 30 septembre 2026, les textes des verdicts restent privés. L’annexe rend accessible la consigne qui les demandait. L’analyse présentée ici porte sur ces instructions publiques.

Pour aller plus loin

• Meilleur document ou juge différent ? Évaluer un agent qui produit des présentations de banque d’investissement
• Évaluer un système d’IA avec un juge LLM : le protocole en huit points tiré de notre étude
• Présentations de financement produites par un agent : vérifier chaque chiffre avant qu’il entre dans le document
• Des réponses du juge LLM au tableau de scores : extraction, valeurs manquantes et exclusions

Sources

• arXiv, Ludovic Gibert, Matis Despujols et André-Louis Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, 30 septembre 2026. Notice, texte intégral et annexes consultés le 9 octobre 2026.
• Association for Computational Linguistics, Yang Liu et ses coauteurs, G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment, décembre 2023. Notice et texte intégral consultés le 9 octobre 2026.