Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 9 novembre 2026.

En bref

Le test de Wilcoxon aide à examiner les écarts de notes entre deux versions d’un système d’IA évaluées sur les mêmes documents. Il apporte un élément à la décision de retenir une nouvelle version, à condition que l’évaluation respecte ses hypothèses. La documentation officielle de SciPy, sans date de publication affichée décrit un calcul fondé sur le classement des écarts, dont les règles changent en présence d’égalités. L’étude de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026, porte sur 17 livrables construits à partir d’informations publiques. Ses tests sont exploratoires ; ceux calculés par document supposent des documents indépendants, alors que des notes peuvent évoluer ensemble dans une même session. Pour décider, il faut donc examiner le gain observé et les conditions de notation avec le résultat du test.

1. Quelles données le test attend-il ?

Le test des rangs signés de Wilcoxon attend des mesures appariées : chaque note est reliée à une autre note obtenue sur la même unité évaluée. La documentation SciPy accepte soit les deux séries de mesures, soit directement la série de leurs différences. Lorsque les séries sont fournies séparément, le logiciel calcule les différences élément par élément.

Pour une évaluation de modèles de langage, nous recommandons de construire une ligne par livrable, avec son identifiant, sa note dans chaque condition et le critère concerné. L’appariement doit être vérifiable par cet identifiant. Un ordre de lignes différent entre les séries suffirait à associer des notes qui ne correspondent plus au même document.

Fixez ensuite le sens de soustraction. Avec « nouvelle version moins version de référence », une différence positive indique une hausse de note. Consignez également la règle de traitement des mesures manquantes et l’effectif réellement utilisé. Ces choix font partie du protocole proposé ici pour rendre le calcul contrôlable.

La paire peut aussi concerner deux notations successives d’un document inchangé. C’est le cas des comparaisons d’Opus avec lui-même dans le tableau de répétabilité de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026 : les écarts décrivent alors la variation du juge. Dans un compte rendu de validation, précisez donc dès le départ si la comparaison porte sur des versions du système ou sur des passages du juge. Cette distinction détermine ce que signifie une hausse.

2. Quelle hypothèse teste-t-on réellement ?

L’hypothèse nulle porte sur une distribution des différences symétrique autour de zéro. Selon SciPy, le test bilatéral examine l’écart à cette hypothèse ; les options unilatérales correspondent à une direction donnée. La symétrie signifie ici que les écarts positifs et négatifs se répartissent de façon comparable de part et d’autre du centre.

Un rang désigne la position d’un écart dans le classement des valeurs absolues, c’est-à-dire de leurs amplitudes sans leur signe. Dror et ses coauteurs, dans leur publication ACL de juillet 2018, décrivent le classement de ces amplitudes, puis l’attribution du signe de chaque différence. SciPy précise que, dans le cas bilatéral, la statistique renvoyée est la plus petite des sommes de rangs du côté positif et du côté négatif.

Présenter ce calcul comme un test universel des médianes masquerait la condition de symétrie. Il faut aussi examiner l’indépendance des différences entre unités évaluées, explicitée dans les notes de SciPy. La présence de paires ne dispense pas de cette vérification : les deux notes d’une paire sont liées, tandis que les différences entre documents doivent satisfaire les hypothèses du test.

Dans un protocole de validation, formulez la question avant de lire les résultats : cherche-t-on un changement dans les deux sens ou une progression dans un sens fixé ? Archivez ce choix avec le sens de soustraction. Cela rend l’alternative retenue compréhensible lors de la relecture.

3. Que deviennent les zéros et les ex æquo ?

Les différences nulles et les égalités de rang demandent des choix explicites, car elles interviennent dans le calcul. La documentation SciPy distingue les conventions suivantes pour les paires dont les notes sont identiques.

Option zero_methodTraitement des différences nulles
wilcoxÉcarte les différences nulles avant le classement. C’est le réglage par défaut décrit.
prattInclut les différences nulles dans le classement, puis retire leurs rangs des sommes ; l’approximation normale est ajustée.
zsplitInclut les différences nulles dans le classement et répartit leur rang entre les sommes positive et négative.

Un zéro désigne une absence d’écart dans une paire. Un ex æquo concerne des amplitudes auxquelles le classement doit attribuer le même rang. Ces situations peuvent provenir de la précision des notes retenues ; elles doivent rester visibles dans les données préparées pour le test.

SciPy signale aussi un problème de calcul numérique : la soustraction de deux valeurs peut produire des écarts infimes entre des différences théoriquement égales. Le logiciel risque alors de leur attribuer des rangs différents. La documentation conseille de calculer les différences au préalable et de les arrondir si nécessaire, avant de fournir cette série au test.

Pour appliquer ce conseil, fixez une précision cohérente avec les mesures d’origine et conservez la série avant arrondi. Le dossier de validation devrait expliquer cette précision, dénombrer les différences nulles et identifier les égalités. Cette préparation permet de vérifier pourquoi les rangs ont été attribués ainsi, sans ajuster les données en fonction du résultat souhaité.

4. Calcul exact ou approximation : que documenter ?

La méthode de calcul de la valeur p doit être documentée avec les caractéristiques des différences. Dans la documentation SciPy, le paramètre method propose notamment exact, asymptotic et auto. L’approximation asymptotique utilise une distribution normale pour approcher celle de la statistique ; sa précision dépend notamment de l’effectif.

La présence de zéros ou d’ex æquo modifie la distribution de référence. SciPy précise alors que method="exact" ne calcule plus une valeur p exacte. Le choix automatique dépend lui aussi de ces caractéristiques. Le nom de l’option ne suffit donc pas à décrire ce qui a été exécuté. La documentation prévoit également une configuration par permutation pour ces situations, dont le détail dépasse le présent guide.

Pour une prochaine évaluation, joignez au résultat la version installée de SciPy et les paramètres utilisés : traitement des zéros, alternative, méthode, correction de continuité éventuelle et politique de valeurs manquantes. Conservez également les différences transmises à la fonction et la précision appliquée. Ce sont les éléments que nous proposons de remettre au responsable de validation avec le résultat.

Cette pratique concerne les futures exécutions. Pour lire un article antérieur, les réglages doivent provenir de son protocole ou de son code archivé. Les options par défaut de la documentation ouverte aujourd’hui ne permettent pas de reconstituer celles employées dans l’étude TW3.

5. Comment lire valeur p, effet et dispersion ensemble ?

La valeur p et l’ampleur du changement répondent à des questions différentes. Dror et ses coauteurs, ACL 2018, définissent la valeur p comme la probabilité, sous l’hypothèse nulle, d’obtenir un résultat au moins aussi extrême que celui observé. Elle ne s’exprime donc pas dans l’unité du gain.

Le tableau 4 de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026, permet de lire ces informations ensemble. Pour la transition du premier au deuxième tour, le juge Opus attribue une hausse moyenne de 6,7 points ; 10 documents progressent et 7 reculent, avec une valeur p de Wilcoxon de 0,169. Ces résultats concernent les premiers passages des campagnes comparées.

La hausse moyenne décrit l’amplitude du changement à l’échelle du corpus. Le décompte des progressions et des reculs décrit sa répartition entre documents, sans mesurer à lui seul toute la dispersion. La valeur p apporte l’information du test sous ses hypothèses. Le compte rendu devrait garder ces lectures côte à côte, puis présenter les différences individuelles lorsqu’elles sont disponibles à l’équipe de validation. Aucun recalcul des valeurs p de cette étude n’est effectué ici, les scores anonymisés étant proposés par les auteurs sur demande.

Pour la décision métier, TW3 recommande de définir le gain utile dans l’unité de la mesure et de prévoir l’examen des régressions. Un résultat statistique s’inscrit ainsi dans un critère d’acceptation explicite. La prépublication rappelle aussi que l’accord entre juges ne démontre ni l’exactitude ni l’acceptabilité professionnelle des documents.

6. Quand le plan impose-t-il une autre analyse ?

Le plan d’analyse doit tenir compte des sessions communes, des notations répétées et du nombre de comparaisons. Dans leur prépublication du 30 septembre 2026, Gibert, Despujols et Rochet indiquent que les tests de Wilcoxon au niveau des documents supposent leur indépendance. Ils qualifient l’ensemble des tests d’exploratoires et précisent qu’ils ne sont pas ajustés pour les comparaisons multiples.

Le tableau 2 porte notamment sur des passages du même juge appliqués à des documents identiques. Dans les répétitions d’Opus aux tours 7 et 8, les auteurs observent qu’une session concentre l’essentiel du décalage entre passages pour chaque tour. Pour préparer une évaluation comparable, il est utile de conserver l’identifiant de session avec chaque différence. Les répétitions d’un même document doivent également rester repérables, afin que le responsable de l’analyse puisse traiter cette structure.

Dror et ses coauteurs, ACL 2018, soulèvent eux aussi la difficulté des observations dépendantes en traitement du langage. Leur guide rattache le choix d’un test à la tâche, à la mesure et aux hypothèses. Changer uniquement l’option de calcul de Wilcoxon laisse ces questions de protocole entières.

Avant l’analyse, consignez donc l’unité de comparaison, les regroupements par session et les comparaisons prévues. Les prolongements proposés ci-dessous portent sur l’intervalle du gain, la dépendance de session et les tests multiples. Ils correspondent à des questions distinctes à examiner avec le responsable de validation.

FAQ

Peut-on utiliser Wilcoxon sur des mesures non appariées ?
Le test des rangs signés présenté ici attend deux séries liées ou une série de différences, selon SciPy. Cette correspondance doit découler du dispositif d’évaluation ; des groupes indépendants demandent un autre choix de test.

Les notes arrondies peuvent-elles modifier les rangs ?
Oui, la précision numérique peut déterminer quelles amplitudes sont considérées comme égales. SciPy conseille de calculer les différences et d’ajuster leur précision si nécessaire pour préserver les égalités théoriques. Conservez cette règle dans le protocole.

Le calcul exact reste-t-il exact avec des ex æquo ?
SciPy précise que son option exact ne fournit plus une valeur p exacte en présence d’ex æquo ou de différences nulles. Il faut documenter la méthode effectivement utilisée et la version du logiciel.

Une petite valeur p mesure-t-elle la taille du gain ?
La définition donnée par Dror et ses coauteurs porte sur une probabilité sous l’hypothèse nulle. Pour apprécier la taille du gain, examinez séparément les écarts dans l’unité des notes, leur moyenne et leur dispersion.

Wilcoxon corrige-t-il la dépendance de session ?
Le test décrit par SciPy repose sur l’indépendance des différences entre unités. L’étude TW3 conserve cette hypothèse pour ses tests au niveau des documents et traite la session dans des analyses de sensibilité distinctes. Le regroupement des notes relève donc du plan d’analyse.

Pour aller plus loin

Sources