Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 28 octobre 2026.
En bref
Une question aide à comparer des modèles lorsqu’elle distingue ceux qui réussissent le mieux sur l’ensemble du test. Ce lien, appelé discrimination, aide à examiner les questions d’un test comparatif, ou benchmark, et dépend des modèles retenus. Dans leur prépublication déposée sur arXiv le 14 juin 2024, Madaan et ses coauteurs étudient notamment des sélections de 100 questions. Leur analyse montre qu’un test raccourci peut approcher le score moyen tout en rendant les comparaisons entre modèles moins fiables. Pour une direction qui doit choisir un système, la précision de l’écart entre candidats compte donc autant que la proximité du score avec celui du test complet. TW3 recommande de valider séparément ces objectifs avant de réduire un corpus d’évaluation.
1. Que mesure la difficulté d’une question ?
La difficulté décrit ici le score moyen obtenu à une question par la population de modèles étudiée. Dans l’analyse de Madaan et al., déposée en juin 2024, un item désigne une question ou un exemple individuel du benchmark. Le calcul porte sur les réponses des différents modèles à cet item.
Le nom peut prêter à confusion : lorsque le score traduit la réussite, une moyenne élevée correspond à une question largement réussie. Il faut donc lire la définition du coefficient avant d’interpréter son sens. Cette mesure empirique renseigne sur la rencontre entre une question et un ensemble de modèles. Elle ne constitue pas une difficulté intrinsèque qui resterait identique pour leurs successeurs.
La conséquence méthodologique est de conserver la liste des modèles qui ont servi au calcul. Pour une équipe de validation, il est utile d’associer à chaque relevé la version du benchmark, la mesure de réussite et la population évaluée. Cette traçabilité constitue une proposition de méthode du cabinet : elle permet de savoir sur quelle base une question a été retenue ou écartée.
Il faut aussi séparer la difficulté d’une question de sa capacité à départager les candidats. Une question souvent réussie peut encore distinguer certains modèles ; sa moyenne seule ne décrit pas le lien entre ses réponses et les résultats d’ensemble.
2. Qu’appelle-t-on discrimination d’un item ?
La discrimination d’un item désigne la corrélation entre les scores des modèles sur cette question et leurs scores globaux. Selon Madaan et al., juin 2024, elle décrit dans quelle mesure la question suit les différences de performance observées sur le benchmark.
Une discrimination positive signifie que les modèles globalement les plus performants tendent aussi à mieux réussir cet item. Une discrimination négative indique une relation inverse. Lorsque tous les modèles réussissent ou échouent, la question apporte peu d’information pour les distinguer dans cette population. Les auteurs traitent ces cas comme une discrimination nulle dans leur lecture des résultats.
La distinction avec la difficulté peut se résumer ainsi :
| Mesure | Ce qu’elle décrit | Ce qu’il faut garder avec le résultat |
|---|---|---|
| Difficulté empirique | Score moyen sur une question | Population et règle de notation |
| Discrimination | Lien entre score à la question et score global | Population et benchmark de référence |
Une application possible, à tester, consiste à examiner les questions peu discriminantes avant toute suppression automatique. Leur utilité dépend de la comparaison recherchée et des modèles auxquels le test sera soumis.
L’étude de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026, cite Madaan dans son cadrage sur la variabilité des évaluations. Elle porte sur 17 livrables construits à partir d’informations publiques. Ce rapprochement situe la question de la précision ; il ne constitue pas une validation de la discrimination d’items pour sélectionner les présentations TW3.
3. Pourquoi la sélection change-t-elle entre modèles faibles et forts ?
Les questions qui départagent une population peuvent perdre ce rôle lorsque le niveau des modèles augmente. Pour le vérifier, Madaan et al., juin 2024, séparent leurs 70 modèles selon deux modalités : une répartition aléatoire et une répartition qui réserve les 14 plus performants au test.
Le groupe dit d’apprentissage sert ici à calculer les propriétés des questions et à les sélectionner. Le groupe de test sert à observer si ces propriétés restent utiles pour d’autres modèles. Dans la répartition aléatoire, les discriminations calculées sur les groupes sont davantage corrélées. Lorsque le test rassemble les modèles les plus performants, une forte discrimination dans le premier groupe se retrouve moins bien dans le second.
La figure 3 donne une explication concrète. Certaines questions sont échouées par tous les modèles du groupe moins performant, puis deviennent informatives dans le groupe plus performant. D’autres départagent le premier groupe, mais sont réussies par tous dans le second. Une règle qui supprimerait les questions sans variation sur le groupe initial pourrait donc retirer des questions utiles à la comparaison suivante.
Pour tester une réduction, nous recommandons de réserver des modèles à la validation du sous-ensemble et de vérifier sa pertinence dans la zone de performance visée. Il s’agit d’une transposition méthodologique des résultats de l’étude. Un partage aléatoire et une validation sur des modèles plus performants répondent à des questions différentes sur le transfert de la sélection.
4. Retirer les questions peu discriminantes réduit-il le bruit ?
Dans l’expérience étudiée, les améliorations restent modestes et s’accompagnent d’un déplacement du score moyen. Madaan et al., juin 2024, retirent progressivement jusqu’à 20 % des items selon leur discrimination sur les modèles d’apprentissage, puis mesurent la moyenne et l’erreur type sur les modèles de test. La monotonie est évaluée séparément sur les entraînements suivis dans l’étude. Une suppression aléatoire sert de comparaison.
Les auteurs suivent plusieurs propriétés distinctes. L’erreur type mesure l’incertitude de l’estimation moyenne. La monotonie décrit la régularité avec laquelle les scores suivent la progression de l’entraînement. Le score moyen indique le niveau de performance estimé sur le corpus restant.
La suppression ciblée diminue modestement l’erreur type et améliore modestement la monotonie. En parallèle, l’estimation de la réussite se déplace. Les auteurs soulignent qu’un tel déplacement peut surestimer les capacités lorsque le score est interprété en valeur absolue. Leurs essais sur la répartition aléatoire présentent également peu ou pas de bénéfices.
Pour décider d’un raccourcissement, il est donc utile de comparer ces propriétés ensemble. Une baisse de l’incertitude accompagnée d’une hausse du score appelle une vérification de ce que représente désormais le corpus. La proposition du cabinet est de documenter le déplacement de la moyenne aussi explicitement que la précision obtenue. Le résultat de Madaan concerne les modèles et benchmarks testés ; il invite à mesurer localement l’effet d’une sélection avant de l’adopter.
5. Que fait la théorie de réponse aux items dans les petits benchmarks ?
La théorie de réponse aux items, ou IRT, fournit ici un modèle statistique pour choisir des questions représentatives et estimer la performance sur le benchmark complet. Dans leur prépublication de juin 2024, Madaan et ses coauteurs testent une méthode issue des travaux de Polo, décrite dans leur annexe E.
La méthode apprend des paramètres associés aux modèles et aux questions à partir des scores observés. Elle regroupe ensuite les questions et sélectionne 100 exemples, pondérés selon la taille des groupes représentés. L’estimateur appelé IRT utilise la performance pondérée sur ces exemples. IRT++ la combine avec une estimation ajustée de la performance sur le corpus complet.
Les tableaux 3 et 4 portent sur les entraînements répétés avec différentes initialisations et montrent pourquoi il faut distinguer estimation et comparaison. IRT++ réduit l’écart à la moyenne du benchmark complet par rapport à IRT, mais les deux méthodes augmentent la variabilité liée aux initialisations de l’entraînement. Les scores évoluent aussi de façon moins monotone. Dans cette étude, la mesure appelée « variance entre initialisations » est calculée à partir des écarts types des scores ; elle décrit la dispersion entre entraînements.
Sur les modèles plus grands, les estimations moyennes se transfèrent relativement bien, tandis que l’erreur type augmente. L’annexe E examine aussi les changements d’ordre entre modèles. Pour ARC-C, IRT inverse 12,17 % des comparaisons par paires sur l’ensemble des 70 modèles, par rapport au benchmark complet, dans cette expérience de juin 2024.
Ces observations expliquent l’enjeu décisionnel : un score proche de la référence peut rester trop incertain pour départager des candidats. Il faut évaluer la stabilité des comparaisons pour l’usage auquel le test réduit est destiné.
6. Quand faut-il conserver un corpus plus large ?
Conserver davantage de questions est pertinent lorsque la précision du sous-ensemble ne suffit pas à détecter l’écart qui justifierait une décision. Dans sa prépublication déposée sur arXiv le 1er novembre 2024, Evan Miller propose de dimensionner l’évaluation à partir de cette différence recherchée et de la variabilité des résultats.
Son cadre statistique suppose les questions tirées aléatoirement d’une population de tâches plus large. Ajouter des questions peut réduire l’incertitude, mais leur dépendance compte : plusieurs questions portant sur un même passage demandent une analyse par groupes. Répéter les réponses à des questions existantes traite une autre composante de la variabilité que l’élargissement du corpus.
Pour comparer des modèles évalués sur les mêmes questions, Miller préconise l’analyse des différences question par question. Cette approche appariée peut réduire la variance lorsque les modèles s’accordent sur les questions faciles et difficiles. Elle offre une voie de précision à examiner avant de supprimer des items.
Dans la transposition proposée par le cabinet, fixer d’abord l’écart utile à la décision permet d’orienter le dimensionnement. Il est ensuite utile de vérifier que les familles de tâches attendues restent représentées dans le corpus réduit, puis d’évaluer l’incertitude sur les différences entre candidats.
L’ancrage TW3 conserve son périmètre : Gibert, Despujols et Rochet, septembre 2026, décrivent une inférence contrainte par le petit corpus et la dépendance entre sessions. Leurs tests sont exploratoires. La taille de ce corpus ne fournit donc aucune prescription d’effectif pour une autre évaluation.
FAQ
La difficulté d’une question est-elle une propriété universelle ?
Dans la définition de Madaan utilisée ici, elle correspond au score moyen sur la population évaluée. Son interprétation doit conserver ce périmètre et la règle de notation.
La discrimination se transfère-t-elle aux modèles plus forts ?
Le transfert est limité dans la répartition par performance étudiée par Madaan. Des questions sans variation parmi les modèles moins performants deviennent informatives pour les plus performants, et l’inverse se produit aussi.
Retirer des questions suffit-il à réduire le bruit ?
L’expérience de suppression donne des gains modestes sur certaines mesures, accompagnés d’un déplacement de la moyenne. Il faut examiner ensemble précision et niveau du score avant de retenir le corpus réduit.
Un petit benchmark qui estime bien la moyenne classe-t-il bien les modèles ?
La proximité des moyennes ne suffit pas à établir la fiabilité des comparaisons. Dans les expériences IRT rapportées par Madaan, l’incertitude augmente et certaines comparaisons par paires s’inversent.
Quand conserver davantage de questions ?
Lorsque l’évaluation réduite ne permet pas de détecter l’écart utile à la décision, son dimensionnement doit être revu. Le cadre de Miller invite à tenir compte des différences appariées et des groupes de questions dépendantes.
Pour aller plus loin
- Combien de tâches faut-il pour comparer deux systèmes d’IA ?
- Score continu ou réussite binaire : quelle mesure garder pour suivre un agent ?
- Benchmark saturé : quand renouveler les tâches d’évaluation d’un agent ?
Sources
- Madaan et al., arXiv, Quantifying Variance in Evaluation Benchmarks, prépublication déposée le 14 juin 2024, notice et texte intégral, version initiale, consultés le 9 octobre 2026.
- Miller, arXiv, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations, prépublication déposée le 1er novembre 2024, notice et texte intégral, version initiale, consultés le 9 octobre 2026.
- Gibert, Despujols et Rochet, arXiv, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée le 30 septembre 2026, notice et texte intégral, version initiale, consultés le 9 octobre 2026.