Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 7 novembre 2026.

En bref

Comparer de nombreuses variantes d’IA exige de fixer les comparaisons prévues et le risque acceptable de retenir une amélioration due au hasard. Pour une direction, ce cadrage précise la solidité des résultats utilisés pour choisir une version. Une famille de tests désigne les hypothèses que l’on examine ensemble pour maîtriser ce risque. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet étudient 17 livrables construits à partir d’informations publiques et qualifient leurs tests d’exploratoires, sans ajustement pour comparaisons multiples. Une correction statistique doit donc répondre à un objectif annoncé avant l’analyse. Nous recommandons de conserver les résultats exploratoires avec leur périmètre, puis de préparer une confirmation sur des tâches réservées.

1. Où se multiplient les comparaisons ?

Les comparaisons se multiplient lorsque plusieurs versions, évaluateurs, critères ou groupes de tâches donnent chacun lieu à un test. Le nombre de variantes du système décrit seulement une partie du travail d’analyse.

Dans l’étude de Gibert, Despujols et Rochet du 30 septembre 2026, le tableau 4 suit les transitions entre étapes évaluées par le même juge ; le tableau 5 compare les notes des étapes 1 et 7 pour chaque juge. Ces présentations répondent à des questions différentes. Leur coexistence invite à inventorier les hypothèses examinées avant de retenir un résultat favorable. Les tableaux eux-mêmes ne constituent pas automatiquement des familles statistiques distinctes.

La documentation officielle de SciPy, sans date de publication affichée, explique le mécanisme : ignorer la multiplicité augmente le risque de rejeter à tort des hypothèses vraies. Autrement dit, on peut déclarer un écart alors que le test a produit une fausse alerte.

Pour une campagne d’évaluation, le cabinet propose de recenser les comparaisons prévues : version candidate contre référence, résultat global, critères analysés séparément et sous-groupes retenus. Une ligne de résultat descriptif ne devient un test supplémentaire que si une hypothèse y est effectivement testée. Consignez aussi les analyses ajoutées après lecture des premiers résultats. Leur qualification exploratoire permettra au lecteur de comprendre comment les conclusions ont été sélectionnées.

2. Qu’appelle-t-on une famille de tests ?

Une famille de tests rassemble les hypothèses dont on veut contrôler ensemble le risque d’erreur. Son périmètre doit être relié à la décision que l’évaluation prépare.

Dans la documentation officielle de R consacrée à p.adjust, sans date de publication affichée, l’ajustement reçoit un ensemble de valeurs p et tient compte du nombre de comparaisons. La liste transmise au calcul fait donc partie de la méthode. Pour une campagne d’IA, notre proposition consiste à décrire cette liste avant de voir les résultats, avec la raison pour laquelle les hypothèses sont regroupées.

Le guide de Dror et ses coauteurs, publié par l’ACL en juillet 2018, fournit le préalable : choisir le test individuel selon la tâche, la mesure et les hypothèses statistiques. Une valeur p exprime, sous l’hypothèse nulle testée, la probabilité d’obtenir un résultat au moins aussi extrême que celui observé. Le seuil utilisé pour décider doit être fixé à l’avance.

Concrètement, rédigez d’abord la conclusion que la campagne devra pouvoir soutenir. Identifiez ensuite les tests susceptibles de l’alimenter et ceux qui serviront uniquement à orienter le développement. Cette distinction constitue une recommandation de protocole. Réduire la famille après observation aux seuls résultats favorables changerait le périmètre sur lequel porte la correction. La version du registre conservée avant l’analyse doit rester accessible lors de la restitution.

3. FWER et FDR répondent-ils au même besoin ?

Le FWER porte sur le risque d’au moins une fausse conclusion dans la famille ; le FDR porte sur la proportion moyenne de fausses conclusions parmi celles retenues.

Les documentations SciPy du contrôle des fausses découvertes et du test de Dunnett, sans date de publication affichée, définissent ces risques. Une « découverte » correspond ici au rejet d’une hypothèse nulle, par exemple l’hypothèse d’absence d’amélioration. Elle est fausse lorsque cette hypothèse était vraie.

Le contrôle du FWER, pour family-wise error rate, limite la probabilité de commettre au moins une telle erreur dans l’ensemble examiné. Le contrôle du FDR, pour false discovery rate, limite l’espérance de la proportion de fausses découvertes parmi les hypothèses rejetées. Cette espérance décrit le comportement de la procédure lors de répétitions de l’expérience ; elle ne donne pas la composition exacte de la liste obtenue dans une campagne particulière.

Pour organiser une validation, TW3 recommande de relier ce choix à l’usage du résultat. Lorsque chaque conclusion retenue peut déclencher une décision engageante, le contrôle du FWER constitue un objectif à examiner. Lorsqu’une exploration sert à sélectionner des pistes pour une vérification ultérieure, le contrôle du FDR peut répondre au besoin. Ce sont des orientations de méthode à discuter avec le responsable de validation.

Le seuil choisi doit figurer avec le nom du risque contrôlé. Une valeur de seuil isolée ne permet pas de comprendre l’engagement statistique pris par l’équipe.

4. Que font Bonferroni, Holm et Benjamini-Hochberg ?

Ces corrections ajustent les décisions prises à partir des valeurs p, avec des objectifs et des conditions d’emploi distincts.

Les documentations officielles de statsmodels et de R, sans date de publication affichée, décrivent les méthodes suivantes.

MéthodePrincipeRisque visé
BonferroniMultiplier les valeurs p par le nombre de comparaisons, en plafonnant à unFWER
HolmAppliquer une procédure progressive utilisant des ajustements de BonferroniFWER
Benjamini-HochbergAjuster l’ensemble des valeurs p pour contrôler la proportion moyenne de fausses découvertesFDR

Le code officiel de statsmodels, sans date de publication affichée, applique ce plafonnement aux valeurs p corrigées.

Le choix dépend également des liens entre les tests. R indique que Holm reste valide quelle que soit la structure de dépendance entre les tests. Pour Benjamini-Hochberg, la documentation SciPy précise les conditions d’indépendance ou de dépendance positive dites de régression. Elle présente Benjamini-Yekutieli comme une option contrôlant le FDR même lorsque ces conditions d’indépendance ne sont pas réunies, au prix d’une procédure plus conservatrice.

Dans une évaluation d’IA, l’équipe doit donc documenter les éléments partagés entre comparaisons : mêmes tâches, mêmes réponses ou même dispositif de notation. Cette description aide le statisticien à examiner les hypothèses requises. Faites justifier la condition de dépendance retenue dans le protocole, au-delà d’une simple mention de « corrélations positives ».

Le tableau sert à choisir une procédure cohérente avec la décision. Comparer les corrections pour garder celle qui laisse subsister le résultat souhaité détournerait cette démarche. Aucun recalcul des valeurs p de l’étude TW3 n’est réalisé ici.

5. Comment conserver les résultats exploratoires ?

Conservez les écarts observés et leur incertitude en explicitant la manière dont les analyses ont été choisies.

Dans la prépublication TW3 du 30 septembre 2026, la section 6 indique que tous les tests de significativité sont exploratoires et non ajustés pour les comparaisons multiples. Elle précise aussi que les intervalles calculés au niveau des livrables ignorent la dépendance entre documents d’une même session, tandis que les analyses au niveau des sessions ont une résolution limitée. La multiplicité et la dépendance constituent donc des questions distinctes à traiter dans la restitution.

Les auteurs signalent également que l’accord entre juges ne démontre ni l’exactitude ni l’acceptabilité professionnelle des livrables. Les documents finaux ont bénéficié d’améliorations successives guidées en partie par les évaluations. Ces réserves fixent la portée de l’observation : une comparaison issue du développement reste attachée aux tâches et aux conditions utilisées.

Pour présenter une exploration, le cabinet propose de joindre aux résultats la liste des analyses effectuées, les écarts dans l’unité de la mesure, les intervalles disponibles et les valeurs p en précisant leur éventuel ajustement. Distinguez visuellement les analyses prévues des analyses ajoutées. Mentionnez les hypothèses de calcul des intervalles, notamment le niveau auquel les observations sont considérées comme indépendantes.

La restitution doit permettre au destinataire d’identifier ce qui mérite une vérification supplémentaire. Un résultat exploratoire conserve ainsi une utilité pour orienter le travail, avec une qualification lisible jusque dans la conclusion.

6. Que prévoir pour la campagne de confirmation ?

Préparez la confirmation en fixant les hypothèses, la mesure principale et les tâches réservées avant d’examiner leurs résultats.

Le guide de Dror et ses coauteurs, ACL, juillet 2018, rappelle l’importance du seuil prédéfini et des hypothèses du test individuel. L’étude TW3 du 30 septembre 2026 précise pour sa part que les références produites par génération directe ne disposaient pas de tâches de test réservées. À partir de ces appuis, la démarche ci-dessous est une proposition du cabinet pour une nouvelle campagne.

Un registre de décisions méthodologiques devrait préciser :

  • la décision attendue et la population de tâches concernée ;
  • les versions comparées, la référence et la configuration des évaluateurs ;
  • la mesure principale, les hypothèses regroupées et la correction retenue ;
  • le risque contrôlé, son seuil et les conditions de validité à vérifier ;
  • les tâches réservées, les règles d’exclusion et le traitement des données manquantes ;
  • la manière de consigner les modifications du protocole.

Faites relire ce registre avant l’évaluation. Gardez les tâches réservées hors de la boucle de correction du système, puis archivez le protocole effectivement exécuté avec les résultats. Si leur examen conduit à modifier encore le système, consignez cette réutilisation et préparez une nouvelle vérification adaptée.

La décision finale pourra ainsi rapprocher l’ampleur de l’écart, son incertitude et l’objectif métier fixé. Le rapport doit aussi permettre de retrouver les analyses exploratoires qui ont motivé la confirmation, sans les compter comme de nouvelles observations indépendantes.

FAQ

Une comparaison par critère ajoute-t-elle des tests ?
Oui, si chaque critère donne lieu à une hypothèse testée séparément. Inventoriez aussi les versions, les évaluateurs et les sous-groupes examinés, puis précisez quelles analyses étaient prévues et lesquelles ont été ajoutées après observation.

FWER et FDR contrôlent-ils le même risque ?
Le contrôle du FWER limite le risque d’au moins une fausse découverte dans la famille. Le contrôle du FDR limite l’espérance de la proportion de fausses découvertes parmi les hypothèses rejetées. Ces objectifs correspondent à des engagements différents pour la décision.

Faut-il choisir la correction après avoir vu les résultats ?
Pour une confirmation, fixez la correction et son périmètre dans le protocole initial. Choisissez selon le risque à maîtriser et les hypothèses de dépendance, puis consignez tout changement de méthode et sa raison.

Un résultat exploratoire doit-il être supprimé ?
Il peut être conservé avec ses écarts observés, son incertitude et son statut. Dans l’étude TW3 citée, les auteurs qualifient explicitement leurs tests d’exploratoires et de non ajustés pour les comparaisons multiples.

Pourquoi prévoir une campagne de confirmation ?
Elle sert à examiner une hypothèse désormais fixée sur des tâches tenues à l’écart du développement. Le protocole proposé conserve la trace des choix et des analyses antérieures afin que l’équipe puisse distinguer sélection d’une piste et vérification de cette piste.

Pour aller plus loin

Sources