Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 8 novembre 2026.
En bref
Le nombre de tâches à tester dépend du gain que l’on veut repérer, de la variation des résultats et du risque de se tromper. Pour décider de changer de système d’IA, il faut donc définir ce qui constituerait une amélioration utile avant de choisir la taille du test. Les travaux de Card et ses coauteurs, publiés par l’ACL en novembre 2020 expliquent qu’une évaluation trop petite peut manquer une amélioration réelle et exagérer celles qu’elle détecte. Dans la prépublication de Gibert, Despujols et Rochet déposée sur arXiv le 30 septembre 2026, le corpus de développement compte 17 livrables construits à partir d’informations publiques. Cet effectif décrit l’étude et ses limites, sans constituer une cible pour votre projet. La démarche proposée ici consiste à préparer un essai pilote, puis à choisir entre élargir l’évaluation et limiter la décision à ce qu’elle peut établir.
1. Quel écart serait utile à détecter ?
L’écart utile est celui qui pourrait modifier la décision de l’organisation, exprimé dans la mesure retenue pour l’évaluation. TW3 recommande de le définir avec le responsable métier avant de lancer la campagne : quelle amélioration de la qualité justifierait de changer de système, compte tenu des contraintes de déploiement ? Cette question donne un sens opérationnel au calcul d’effectif.
Dans sa prépublication déposée sur arXiv le 1er novembre 2024, Evan Miller relie le nombre de questions au plus petit écart que l’expérience doit pouvoir détecter, aux risques statistiques et à la variabilité des scores. Un écart minimal détectable désigne une différence que le dispositif peut repérer avec la probabilité choisie, sous les hypothèses du calcul. Il faut comparer cette capacité de détection à l’écart jugé utile par le métier.
Pour préparer ce rapprochement, inscrivez dans le protocole le critère principal, son mode de notation et la population de tâches visée. Précisez aussi le système de référence et la configuration évaluée. Cette proposition de méthode oblige à formuler la décision attendue avant de voir les scores.
L’importance opérationnelle concerne l’intérêt du changement pour l’organisation. La significativité statistique concerne le rejet de l’hypothèse d’absence de différence dans le cadre d’un test, comme l’expliquent Card et ses coauteurs, ACL, novembre 2020. Un calcul d’effectif prépare cette seconde appréciation. La direction conserve la responsabilité de fixer l’amélioration qui mérite une décision.
2. Quels risques statistiques faut-il choisir ?
Il faut choisir le risque de conclure à une différence inexistante et la probabilité de détecter l’écart recherché. Dans With Little Power Comes Great Responsibility, Card et ses coauteurs, ACL, novembre 2020, la puissance désigne la probabilité qu’un test détecte un effet réel dans les conditions prévues pour l’expérience.
Un faux positif consiste à conclure à une différence alors que l’hypothèse d’absence de différence est vraie. Un faux négatif consiste à manquer une différence réelle. La puissance correspond à la probabilité complémentaire de ce dernier risque, pour un effet donné. Elle dépend notamment du test choisi, de la taille de l’échantillon et de la dispersion des observations.
Card et ses coauteurs soulignent une conséquence utile pour la lecture des résultats : les expériences peu puissantes manquent des effets réels, mais leurs résultats significatifs peuvent aussi surestimer l’ampleur des effets. Un résultat spectaculaire obtenu sur une petite campagne appelle donc une lecture de l’incertitude qui l’accompagne.
Pour préparer la décision, il est utile de décrire les conséquences de chaque erreur : engager un changement sans bénéfice établi, ou écarter une amélioration pertinente. Faites ensuite expliciter les risques retenus dans le protocole statistique. Le résultat observé à la fin d’une campagne ne suffit pas à démontrer qu’elle était correctement dimensionnée ; Card déconseille de calculer sa puissance à partir du seul effet constaté après coup.
3. Quelles informations donne une campagne pilote ?
Une campagne pilote doit fournir des estimations de variabilité utilisables pour dimensionner la comparaison. Le cadre de Miller, arXiv, 1er novembre 2024 distingue la dispersion entre questions et la variation des réponses produites sur une même question. Pour comparer les systèmes, il tient également compte de la façon dont leurs performances varient ensemble.
Une comparaison appariée consiste à calculer l’écart entre les systèmes sur chaque tâche commune. Lorsque les tâches faciles et difficiles tendent à être les mêmes pour les systèmes comparés, cet appariement peut réduire l’incertitude sur leur différence. Il faut donc conserver les scores par tâche, avec leurs correspondances, pour estimer la dispersion des écarts.
Pour organiser le pilote, nous proposons de conserver une ligne identifiable par tâche, génération et notation. Cette organisation doit permettre de retrouver le système, ses réglages, la sortie évaluée et la session du juge. Les répétitions servent alors à distinguer ce qui varie quand on recommence la production de ce qui varie quand on note de nouveau une sortie inchangée.
Miller indique que les composantes de variance peuvent être estimées à partir de données d’évaluations antérieures comportant des répétitions. Le pilote prépare ces estimations sur le périmètre envisagé. Comme toute analyse de puissance repose sur des hypothèses, Card et ses coauteurs, ACL, novembre 2020 conseillent d’examiner plusieurs valeurs plausibles des paramètres. Le dossier de décision peut ainsi présenter une plage de besoins selon la variabilité retenue, avec l’origine de chaque hypothèse.
4. Faut-il davantage de tâches ou davantage d’essais ?
Le choix dépend de la part d’incertitude que les répétitions peuvent encore réduire. La formule de dimensionnement de Miller, arXiv, 1er novembre 2024 sépare la dispersion des différences moyennes entre tâches et la variation des réponses de chaque système sur une même tâche. Elle suppose ici des tâches tirées indépendamment et une comparaison des systèmes sur les mêmes tâches.
Dans cette formule, les scores des réponses répétées sont moyennés par tâche. Les composantes de variance liées aux réponses sont alors divisées par le nombre de répétitions du système concerné. La dispersion des différences moyennes entre tâches demeure dans le calcul. Lorsque la variation des réponses devient faible devant cette dispersion, ajouter des répétitions apporte peu de précision supplémentaire. Augmenter le nombre de tâches indépendantes agit, lui, sur l’incertitude de la moyenne à travers l’échantillonnage des tâches.
| Choix de conception | Ce qu’il permet d’examiner | Condition à documenter |
|---|---|---|
| Ajouter des tâches | La différence sur un ensemble plus étendu de situations | Leur appartenance à la population visée et leurs dépendances |
| Répéter les générations | La variation des productions pour une même tâche | Des conditions de génération comparables |
| Répéter les notations | La variation de mesure sur une production inchangée | Le juge, sa configuration et la session |
Ce tableau constitue une proposition d’organisation du protocole. La répétition des notations s’appuie aussi sur l’annexe méthodologique de Gibert, Despujols et Rochet, arXiv, 30 septembre 2026, qui demande de mesurer la variabilité par document et par campagne.
Ajouter des juges doit faire l’objet d’un choix distinct. Cette étude rappelle que leur accord ne démontre ni l’exactitude ni l’acceptabilité professionnelle des documents. Pour dimensionner un protocole, gardez donc séparés le nombre de tâches, les répétitions de génération et les observations de notation. La formule de Miller porte sur des réponses répétées ; son application à un dispositif de juges demande d’expliciter le modèle de mesure retenu.
5. Comment intégrer les groupes de tâches ?
Les tâches liées doivent être identifiées par groupe avant le calcul d’incertitude. Dans Miller, arXiv, 1er novembre 2024, plusieurs questions tirées d’un même passage de texte constituent un exemple de groupe dépendant. L’analyse ajuste alors l’incertitude pour tenir compte des relations entre leurs scores, en supposant les groupes tirés indépendamment.
Le nombre de lignes du fichier ne suffit donc pas à décrire l’information disponible. Miller recommande d’indiquer le nombre de groupes avec celui des questions. Pour estimer la variabilité sur un sous-échantillon, il conseille de tirer des groupes entiers afin de conserver leur structure interne.
La prépublication de Gibert, Despujols et Rochet déposée sur arXiv le 30 septembre 2026 signale une dépendance possible entre les documents notés dans une même session. Ses auteurs présentent les tests comme exploratoires et indiquent que davantage de campagnes de notation et de sessions organisées avec une répartition aléatoire indépendante seraient nécessaires pour stabiliser les estimations de variance.
Dans une campagne à construire, nous recommandons de relever dès le pilote les sources communes et les sessions partagées, puis de faire correspondre l’analyse à cette organisation. Si l’on envisage d’ajouter des tâches, précisez si elles enrichissent des groupes existants ou apportent de nouveaux groupes indépendants. La question des documents notés ensemble fait l’objet de l’article associé indiqué dans « Pour aller plus loin ».
6. Que décider si l’effectif disponible est fixé ?
Il faut estimer quel écart le dispositif disponible peut détecter, puis comparer cet écart au besoin de décision. Miller, arXiv, 1er novembre 2024 propose d’inverser la formule d’effectif pour calculer cet écart minimal détectable lorsque le nombre de questions est imposé.
Le calcul conserve les hypothèses de dispersion, les risques statistiques et les répétitions prévues. Lorsque le plan comporte des groupes dépendants, Miller prévoit une adaptation des composantes de variance. Le calcul doit correspondre à cette structure.
Pour traduire ce résultat en arbitrage, TW3 propose de joindre à la demande d’évaluation une courte note : population couverte, écart utile, écart détectable sous les hypothèses retenues et limites de conclusion. Si le dispositif peut détecter l’amélioration recherchée avec la puissance choisie, sous les hypothèses retenues, la campagne peut être engagée avec son analyse définie à l’avance. Dans le cas contraire, la décision porte sur une collecte complémentaire, sur une étude exploratoire destinée à préparer la suite, ou sur une conclusion limitée au périmètre observé.
Card et ses coauteurs, ACL, novembre 2020 préconisent de planifier l’analyse avant la collecte et de rendre ses hypothèses explicites. Lors de la restitution, rapprochez l’écart observé et son incertitude du seuil utile défini au départ. Leur définition de la puissance implique qu’une absence de différence significative dans un dispositif peu puissant laisse ouverte la possibilité d’un effet réel. Il faut donc garder cette incertitude dans la décision, sans conclure à l’équivalence des systèmes.
FAQ
Existe-t-il un nombre minimal universel de tâches ?
Le dimensionnement dépend de l’écart recherché, des risques choisis et de la variabilité des scores. Commencez par définir l’amélioration utile pour le métier, puis estimez l’effectif adapté au protocole, selon le cadre de Miller présenté ci-dessus.
À quoi sert une campagne pilote ?
Elle renseigne la dispersion entre tâches et la variation entre essais. En conservant les performances appariées et les répétitions, elle aide à estimer les paramètres nécessaires à la comparaison et à expliciter les hypothèses du calcul.
Faut-il répéter ou diversifier les tâches ?
Les répétitions réduisent la composante de variation liée aux réponses sur une même tâche. Leur apport diminue lorsque cette composante devient faible devant la dispersion entre tâches ; la collecte de tâches supplémentaires doit alors rester cohérente avec la population visée.
Pourquoi compter aussi les groupes ?
Des observations issues d’une même source ou d’une même session peuvent être dépendantes. Leur regroupement doit entrer dans le calcul d’incertitude, avec une description du nombre de groupes et de leur composition.
Que faire lorsque le corpus disponible est trop petit ?
Évaluez l’écart que ce corpus permettrait de détecter sous les hypothèses retenues. Documentez ensuite le choix entre compléter la collecte, conduire une exploration ou restreindre la portée de la conclusion, sans déduire une équivalence d’un résultat non significatif.
Pour aller plus loin
- Bootstrap apparié : construire un intervalle sur le gain d’un système d’IA.
- Documents notés dans une même session : corriger l’illusion d’un grand échantillon.
- Répéter la génération ou la notation : séparer deux sources de variabilité.
Sources
- ACL, Card et ses coauteurs, With Little Power Comes Great Responsibility, novembre 2020, texte intégral, consulté le 9 octobre 2026.
- Evan Miller, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations, prépublication déposée sur arXiv le 1er novembre 2024, texte intégral, consulté le 9 octobre 2026.
- Gibert, Despujols et Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, texte intégral, consulté le 9 octobre 2026.