Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 6 novembre 2026.

En bref

Pour juger deux systèmes d’IA équivalents, il faut fixer l’écart acceptable et vérifier que les résultats permettent de respecter cette limite. Si un test destiné à repérer une différence n’en détecte aucune, ce résultat, dit « non significatif », ne prouve pas l’équivalence. La prépublication de Gibert, Despujols et Rochet, déposée sur arXiv le 30 septembre 2026, rappelle cette réserve dans une étude portant sur 17 livrables construits à partir d’informations publiques. Le test d’équivalence présenté par statsmodels dans sa documentation, sans date affichée, répond à une question précise : la différence moyenne reste-t-elle à l’intérieur des limites choisies ? Pour préparer une décision, TW3 recommande de justifier ces limites avec le métier, puis de prévoir les données et l’analyse nécessaires pour les tester. L’autorisation de livrer chaque document demande une appréciation complémentaire.

1. Que signifie un résultat non significatif ?

Un résultat non significatif indique que les observations ne suffisent pas à rejeter l’hypothèse testée, au seuil choisi. Dans une recherche de différence, cette hypothèse peut être l’absence d’écart entre les systèmes. Ne pas la rejeter laisse ouverte la possibilité d’un écart que l’expérience aurait mal détecté.

Dans With Little Power Comes Great Responsibility, publié par l’ACL en novembre 2020, Card et ses coauteurs définissent la puissance comme la probabilité de détecter un effet réel avec le dispositif d’évaluation retenu. Elle dépend notamment du test, du seuil statistique, de l’ampleur de l’effet, de la variabilité et de l’effectif. Une expérience peu puissante peut laisser passer une différence utile à la décision.

La prépublication TW3 déposée sur arXiv le 30 septembre 2026 fournit un cas de lecture concret. Dans la comparaison des textes débarrassés de marqueurs de présentation, les auteurs observent des scores proches entre leur système complet et une génération directe par Opus à partir d’une consigne courte. Ils indiquent explicitement qu’une différence non significative n’établit pas l’équivalence. Ils qualifient aussi leurs tests d’exploratoires et signalent que les intervalles calculés par document ignorent la dépendance de session.

Pour une direction, le compte rendu doit donc préciser la question effectivement testée. « Le système candidat fait-il mieux ? » et « son écart reste-t-il acceptable ? » appellent des preuves différentes.

2. Comment définir une marge d’équivalence ?

Une marge d’équivalence désigne les limites entre lesquelles une différence est considérée comme acceptable pour l’usage visé. La documentation statsmodels, sans date affichée, représente cet intervalle par une borne basse et une borne haute appliquées à la différence moyenne entre observations appariées.

Pour préparer un remplacement, notre recommandation est de fixer ces bornes avant l’analyse des résultats. Le responsable métier doit pouvoir expliquer pourquoi les écarts ainsi autorisés restent compatibles avec son niveau d’exigence. Le protocole précise le sens de la soustraction, l’échelle utilisée et la population de tâches concernée. Sans ces éléments, une même limite peut recevoir des interprétations différentes selon les lecteurs.

Question de décisionCe que l’analyse cherche à établir
Le candidat apporte-t-il une amélioration ?Un écart dans le sens favorable, selon le test de supériorité retenu
Les systèmes sont-ils équivalents sur le critère choisi ?Une différence moyenne contenue entre les bornes d’équivalence
Le document peut-il être livré ?Le respect des critères d’acceptation propres à ce document

La tolérance métier et l’instabilité de la mesure doivent rester distinctes. L’étude TW3 du 30 septembre 2026 décrit des variations de notes sur des documents inchangés et qualifie son repère de bruit entre campagnes d’exploratoire. Ce repère renseigne la mesure ; le transformer en marge acceptable exigerait une justification métier séparée. Une notation instable ne constitue pas, à elle seule, une raison d’élargir la tolérance.

3. Que testent les deux tests unilatéraux ?

Les deux tests unilatéraux cherchent à écarter un écart moyen trop bas et un écart moyen trop haut. La documentation statsmodels, sans date affichée, appelle cette procédure TOST, pour « two one-sided t tests ».

Dans le cas apparié, chaque observation du système candidat correspond à une observation du système de référence. La quantité étudiée est la moyenne attendue de leurs différences. L’hypothèse de non-équivalence place cette moyenne à la borne basse ou en dessous, ou à la borne haute ou au-dessus. L’hypothèse d’équivalence la situe strictement entre les bornes.

Le premier test examine si la différence moyenne dépasse la borne basse. Le second examine si elle reste sous la borne haute. Le code officiel de statsmodels, sans date affichée, renvoie la plus grande des valeurs p de ces tests : conclure à l’équivalence exige donc que chacun satisfasse le seuil statistique retenu.

La position de la moyenne observée ne suffit pas. Il faut aussi que l’incertitude de l’estimation permette d’écarter les limites inacceptables selon cette procédure. Une moyenne proche de l’absence d’écart peut ainsi laisser le test d’équivalence indécis. Une différence moyenne située dans les bornes ne permet de conclure à l’équivalence que si les deux tests satisfont le seuil retenu.

Pour le compte rendu, le cabinet propose de présenter ensemble les bornes, la différence estimée, son intervalle d’incertitude et le résultat du test. Cette présentation rend la conclusion contrôlable. Il faut préciser la méthode de calcul de cet intervalle et sa relation au test employé.

4. Dans quel plan les échantillons sont-ils appariés ?

Les échantillons sont appariés lorsque chaque tâche fournit des observations correspondantes pour les systèmes comparés. La fonction documentée par statsmodels, sans date affichée, travaille sur cette différence au sein de chaque paire. La correspondance doit donc être définie avant le calcul.

La prépublication TW3 déposée sur arXiv le 30 septembre 2026 précise que les versions textuelles d’un même livrable ont été évaluées dans une session commune pour la comparaison concernée. Elle souligne cependant que les documents évalués ensemble semblent partager un décalage de notation. Elle distingue ainsi le rapprochement des versions d’un document et la dépendance possible entre plusieurs documents d’une session.

Pour transposer cette méthode à une évaluation future, conserver les mêmes tâches, le même juge et une configuration documentée constitue un point de départ. Enregistrer également la session, l’ordre de présentation et les répétitions permet d’examiner les dépendances. Le choix de l’unité d’analyse doit précéder l’appel au logiciel : document, session et note individuelle représentent des niveaux différents.

Pour ce recueil, l’application de TOST demande donc un examen préalable de la dépendance entre les observations. Les auteurs demandent davantage de passages et de sessions randomisés indépendamment pour stabiliser les estimations de variance. La structure du recueil doit guider le choix statistique ; l’existence d’une fonction prête à l’emploi ne dispense pas de vérifier ses hypothèses.

5. Pourquoi une équivalence moyenne reste-t-elle partielle ?

Une conclusion sur la différence moyenne porte sur un critère agrégé dans un périmètre donné. La définition fournie par statsmodels, sans date affichée, vise précisément cette moyenne. Elle ne constitue donc pas une règle d’acceptation de chaque document.

Dans l’étude TW3 du 30 septembre 2026, la grille produit à la fois des notes et un verdict sur la possibilité d’envoyer le livrable. Les auteurs précisent que l’accord entre juges ne démontre ni l’exactitude ni l’acceptabilité professionnelle, en l’absence d’un ensemble de référence évalué par des professionnels du métier. Cette réserve reste pertinente lorsqu’on prépare une comparaison de systèmes.

Comme proposition de méthode, il est utile de séparer la comparaison moyenne et la revue des échecs individuels. La première documente le critère statistique choisi. La seconde recherche les défauts qui empêchent une utilisation professionnelle et examine les tâches sur lesquelles ils apparaissent. Les responsables métier définissent les critères bloquants avant la revue et explicitent leur traitement dans la décision de remplacement.

Le dossier de décision peut ainsi présenter une conclusion limitée au périmètre testé, accompagnée des conditions de livraison et des contrôles encore nécessaires. Une équivalence éventuellement établie sur une note moyenne resterait attachée aux tâches, aux juges et aux configurations évalués.

6. Quelles pièces demander avant un remplacement ?

Le dossier doit permettre de retrouver la tolérance retenue, les observations comparées et le raisonnement qui conduit à la conclusion. Dans leurs recommandations publiées par l’ACL en novembre 2020, Card et ses coauteurs préconisent une analyse de puissance avant l’évaluation. Ils demandent de rendre les hypothèses explicites. Pour les évaluations humaines, ils préconisent aussi de partager les données anonymisées, les paramètres et le code nécessaires pour reproduire l’analyse.

Pour appliquer ce principe à un projet d’équivalence, préparer les pièces suivantes :

  • Une note métier justifiant les bornes acceptables et le critère auquel elles s’appliquent.
  • Un protocole décrivant les tâches, leur appariement, les sessions, les juges et leurs configurations.
  • Les hypothèses d’effectif et de puissance correspondant au test d’équivalence prévu, avec leur justification.
  • Les différences observées, leur estimation moyenne, un intervalle d’incertitude documenté et le résultat de chaque test unilatéral.
  • Une revue des critères bloquants et les limites du périmètre autorisé pour le remplacement.

Cette liste constitue une proposition de préparation du cabinet. Les analyses de Card et ses coauteurs concernent leurs propres dispositifs d’évaluation ; leur transposition demande d’adapter le test et les hypothèses au projet envisagé.

Pour réexaminer le cas TW3, les seules tables publiques ne réunissent pas la marge métier, les différences appariées détaillées et un protocole d’équivalence tenant compte des sessions. La prépublication du 30 septembre 2026 indique que les scores anonymisés et scripts d’analyse sont disponibles sur demande.

FAQ

Une valeur p élevée prouve-t-elle l’égalité ?
Non : si elle dépasse le seuil retenu, le test ne rejette pas l’hypothèse examinée. Dans une recherche de différence, un manque de puissance peut empêcher de détecter un écart réel. L’équivalence exige une question et des limites propres.

Que signifie TOST ?
TOST désigne les deux tests unilatéraux utilisés pour examiner les bornes de l’intervalle d’équivalence. La procédure appariée porte sur la différence moyenne entre observations correspondantes. Les valeurs p des deux tests doivent être inférieures au seuil statistique choisi.

Peut-on comparer des tâches différentes avec un test apparié ?
Il faut une correspondance justifiée entre les observations qui forment chaque paire. Pour le protocole proposé ici, les systèmes réalisent les mêmes tâches sous des conditions d’évaluation documentées. Les dépendances entre tâches ou sessions demandent ensuite un examen distinct.

Une équivalence moyenne protège-t-elle chaque document ?
Elle porte sur le paramètre moyen étudié. La décision de livrer un document appelle une revue de ses propres défauts et des critères bloquants. L’accord entre évaluateurs ne suffit pas non plus à établir son acceptabilité professionnelle.

Quelle preuve demander avant de remplacer un système ?
Demander des bornes motivées, un protocole adapté et les résultats détaillés du test prévu. Le dossier doit aussi exposer l’incertitude, les hypothèses de puissance et les limites d’usage. La décision métier conserve une portée propre au-delà du résultat statistique.

Pour aller plus loin

Sources