Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 26 octobre 2026.
En bref
Pour suivre un agent, gardez une note graduée pour décrire ses progrès et un verdict de réussite pour vérifier les exigences indispensables. Une note graduée attribue des points selon la qualité observée ; un verdict binaire classe le résultat comme réussi ou échoué. Cette distinction aide à décider quel travail améliorer et quel résultat peut franchir une étape de validation. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet étudient 17 livrables construits à partir d’informations publiques et montrent que les notes associées à des verdicts différents se recouvrent. Pour interpréter ces mesures, il faut distinguer une note de qualité d’une probabilité de réussite. Pour le pilotage, TW3 recommande une restitution qui rapproche les notes, les réussites observées et les défauts bloquants, avec les règles de lecture de chaque mesure.
1. Que conserve une note graduée ?
Une note graduée conserve des différences de degré dans l’accomplissement d’une tâche. Pour être interprétable, elle doit préciser ce qui donne des points, le sens de son échelle et les éléments évalués. Le crédit partiel désigne les points accordés à une réalisation incomplète dont certaines exigences sont satisfaites.
Dans sa documentation du 9 janvier 2026, Anthropic distingue la tâche, définie par ses entrées et ses critères de réussite, de l’essai, qui correspond à une tentative. L’éditeur prévoit des notes pondérées, des contrôles binaires ou une combinaison de ces approches. Pour les tâches comportant plusieurs composantes, il préconise de représenter les progrès partiels.
Cette distinction permet de définir ce que l’on suit. Une note de qualité décrit le résultat au regard d’une grille. Un taux de réussite rapporte les succès observés aux essais considérés. Une probabilité de réussite exprime une prévision concernant un événement défini. Afficher une note sous forme de pourcentage ne suffit pas à établir cette dernière interprétation : le barème doit rester visible.
Dans une hypothèse de méthode pour un projet documentaire, il est utile de conserver les notes par critère avec la note globale. Le responsable de validation peut alors identifier les exigences encore mal satisfaites, même lorsque la moyenne progresse. La comparaison doit porter sur la même grille et sur un périmètre de tâches explicite. Modifier les pondérations revient à modifier la mesure ; cette modification doit apparaître dans la restitution.
2. Qu’efface le passage à un verdict ?
Le passage à un verdict regroupe sous une même étiquette des résultats qui peuvent présenter des qualités différentes. L’étude de Gibert, Despujols et Rochet, déposée sur arXiv le 30 septembre 2026, permet d’examiner ce phénomène dans un corpus de présentations évaluées par des modèles de langage.
Le juge Opus utilisé pendant le développement ne renvoie jamais le verdict « envoyer en l’état ». Ses réponses se répartissent donc effectivement entre « non envoyable » et « après un cycle de corrections ». L’annexe F montre que ces catégories se recouvrent pour des notes comprises entre 56 et 79. Un seuil fixé à 70 reproduit le verdict dans 86 % des jugements de développement, mais ce seuil a été choisi sur les données mêmes de l’étude.
Ce recouvrement éclaire la perte d’information : connaître une note ne suffit pas à retrouver systématiquement le verdict du juge. Réciproquement, le verdict seul masque les écarts de notes à l’intérieur de chaque catégorie. Le résultat concerne les jugements observés et leur grille ; il ne fournit pas un seuil de livraison pour un autre projet.
Pour une règle de décision fondée sur un seuil, le changement de classe dépend du franchissement de cette frontière. L’amplitude du changement de qualité reste une question distincte. C’est pourquoi nous recommandons de conserver la note avant classement et les motifs du verdict. Dans l’étude TW3, les comparaisons entre juges ne disposent pas d’une référence évaluée par des professionnels : leur accord ne démontre ni exactitude ni acceptabilité professionnelle. Les tests statistiques sont exploratoires et les comparaisons restent liées aux sessions et configurations d’évaluation.
3. Quand une réussite binaire reste-t-elle utile ?
Un verdict binaire reste utile lorsqu’une exigence peut être vérifiée dans l’état final du travail. La documentation Anthropic du 9 janvier 2026 distingue cet état final de la trace de l’essai, qui contient les actions et les réponses de l’agent. L’affirmation par l’agent qu’une action est terminée et la présence effective du résultat attendu sont des objets d’évaluation différents.
La même documentation prévoit un mode binaire dans lequel tous les évaluateurs doivent valider la tâche. Ce choix correspond à une décision exigeant la satisfaction conjointe de conditions. Une note pondérée permet, au contraire, que certaines contributions au total compensent des contributions plus faibles. Le choix entre ces règles doit donc refléter les exigences du métier.
Pour une transposition en validation documentaire, définissez séparément les conditions qui bloquent la livraison. Le tableau de suivi peut conserver un indicateur explicite pour chacune d’elles, accompagné de la preuve examinée. Cette proposition de méthode empêche qu’un défaut déclaré bloquant soit absorbé dans une moyenne favorable. Elle permet aussi d’orienter la correction vers l’exigence concernée.
Le taux de réussite doit préciser son unité : tâche ou essai répété. Anthropic rappelle que le comportement d’un agent varie entre les exécutions et qu’une tâche réussie lors d’un essai peut échouer au suivant. Pour une décision de validation, précisez donc quelles tentatives entrent dans le calcul et comment sont traités les essais incomplets. Le détail des mesures de réussite répétée fait l’objet du prolongement indiqué en fin d’article.
4. Comment attribuer un crédit partiel ?
Le crédit partiel s’attribue à des exigences identifiables dont la satisfaction peut être vérifiée. Dans PPT-Eval, publié par PMLR en 2026, Gandhi et ses coauteurs utilisent des grilles propres aux tâches de création et de modification de présentations PowerPoint. Elles accordent des points pour des étapes intermédiaires et pénalisent les modifications inutiles ainsi que les défauts esthétiques.
L’intérêt de cette approche est de rendre visible un avancement incomplet tout en tenant compte des dégradations introduites. La note s’accompagne d’un retour en langage naturel. Le progrès évalué dépend ainsi de ce qui a été accompli et de la qualité du résultat obtenu, avec une place explicite pour les changements indésirables.
Pour transposer ce principe à un autre métier, notre recommandation est de rédiger chaque critère avec sa preuve attendue, puis de distinguer les points acquis des défauts constatés. Les pondérations doivent être justifiées par les priorités du projet. Elles constituent une proposition de méthode à valider sur les tâches concernées ; celles du benchmark PowerPoint ne deviennent pas automatiquement pertinentes ailleurs.
Un résultat partiel peut recevoir une note positive tout en restant refusé à la livraison. Cette coexistence est utile pour le responsable du développement : elle identifie le travail déjà accompli et le travail restant. Pour le responsable métier, le verdict continue de traduire le respect des conditions indispensables. La grille gagne à nommer ces usages afin que les points accordés à un progrès intermédiaire ne soient pas interprétés comme une autorisation de diffusion.
5. Les scores continus sont-ils toujours plus stables ?
La stabilité d’un score continu dépend de sa définition et de la tâche évaluée. Dans Quantifying Variance in Evaluation Benchmarks, prépublication déposée sur arXiv le 14 juin 2024, Madaan et ses coauteurs comparent des mesures discrètes et continues pendant l’entraînement de modèles de langage. Ils étudient notamment la variabilité entre initialisations et la régularité de l’évolution des scores au cours de l’entraînement.
Leur étude rapporte un meilleur rapport entre signal et bruit pour les mesures continues des benchmarks comparés sur ce critère. La progression au cours de l’entraînement est aussi plus régulière dans de nombreux cas, avec des exceptions selon les tâches. Dans le tableau de suivi de l’entraînement, la mesure continue de la tâche mathématique GSM8k suit moins régulièrement le sens du progrès que la mesure discrète.
La nature des mesures compte ici. Les auteurs utilisent des probabilités de réponse pour les tâches à choix et une mesure fondée sur la probabilité de la bonne réponse pour les tâches de génération. Ces mesures diffèrent d’une note de qualité attribuée à un document par un autre modèle. Étendre directement leurs résultats à une grille de jugement demanderait une vérification sur cette grille.
Le papier examine également des méthodes de sélection de questions inspirées de l’évaluation humaine. Les auteurs constatent des limites dans leur capacité à réduire la variabilité sur les modèles et benchmarks étudiés. Pour un projet d’agent, la conséquence méthodologique consiste à éprouver la mesure choisie : répéter l’évaluation de productions inchangées, documenter les conditions et examiner la dispersion. La finesse de l’échelle fournit davantage de valeurs possibles ; sa fiabilité doit être mesurée séparément.
6. Comment réunir ces mesures dans une restitution ?
Une restitution utile associe chaque mesure à la décision qu’elle peut éclairer. Le tableau suivant est une proposition de méthode du cabinet, fondée sur la distinction entre états finaux et modes de notation décrite par Anthropic le 9 janvier 2026.
| Mesure à conserver | Informations à afficher | Décision éclairée |
|---|---|---|
| Note graduée | Grille, critères, notes individuelles et dispersion | Choisir les dimensions à améliorer |
| Taux de réussite | Condition de succès, tâches et essais inclus | Examiner la fréquence des résultats satisfaisants |
| Défauts bloquants | Exigence concernée, preuve et statut de correction | Autoriser une étape ou demander une reprise |
Le rapprochement doit rester possible au niveau de chaque essai. Une moyenne générale peut être accompagnée du détail des tâches afin d’examiner où se concentrent les difficultés. La personne qui arbitre peut ainsi revenir de l’indicateur à la production et à la règle appliquée.
Avant de comparer des versions, consignez les conditions de production et de notation. Gardez une version identifiable de la grille, les traces nécessaires à la relecture et les motifs de classement. Anthropic préconise de lire les traces et les notes pour distinguer une erreur de l’agent d’un évaluateur ayant rejeté une solution valide. La restitution sert aussi à organiser cette investigation.
Le choix d’un seuil d’acceptation nécessite ensuite un travail propre. Il engage les conséquences des erreurs de classement et le niveau d’exigence retenu. L’article consacré à cette question figure dans les prolongements ci-dessous.
FAQ
Une note est-elle une probabilité de réussite ?
Une note décrit une qualité selon un barème, tandis qu’une probabilité concerne un événement défini. Leur correspondance demande une validation spécifique ; une conversion de la note en pourcentage ne l’établit pas.
Quand conserver un verdict binaire ?
Conservez-le lorsqu’une condition indispensable peut être vérifiée et doit commander la décision. Associez le verdict à son critère et à la preuve examinée pour permettre sa relecture.
Un agent partiellement correct doit-il toujours recevoir zéro ?
Une grille peut accorder du crédit aux exigences satisfaites, comme dans PPT-Eval, publié par PMLR en 2026. La décision de livraison peut rester défavorable si une condition indispensable manque, même lorsque le travail intermédiaire reçoit des points.
Une mesure continue est-elle nécessairement plus stable ?
Sa stabilité dépend de la mesure et des tâches. Les résultats de la prépublication de Madaan et de ses coauteurs, déposée sur arXiv le 14 juin 2024, concernent leurs benchmarks et leurs mesures ; une grille de jugement documentaire nécessite sa propre vérification.
Pourquoi présenter plusieurs mesures ensemble ?
Elles permettent de suivre les progrès, la réussite observée et les conditions qui bloquent une validation. Le rapprochement par essai facilite l’examen des divergences avant de prendre une décision.
Pour aller plus loin
- Quel seuil de note autorise la livraison d’un document produit par IA ?
- Pass@k et pass^k : deux façons de mesurer la réussite répétée d’un agent
- Évaluer un agent qui modifie un PowerPoint : crédit partiel et changements indésirables
Sources
- Gibert, Despujols et Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, consulté le 9 octobre 2026.
- Madaan et al., Quantifying Variance in Evaluation Benchmarks, prépublication déposée sur arXiv le 14 juin 2024, consulté le 9 octobre 2026.
- Anthropic, Demystifying evals for AI agents, 9 janvier 2026, consulté le 9 octobre 2026.
- Gandhi et al., PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks, PMLR, 2026, consulté le 9 octobre 2026.