Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 17 novembre 2026.
En bref
Le test de Mann-Whitney compare le classement des scores de deux groupes pour examiner si leurs valeurs se répartissent différemment. Il concerne des observations indépendantes : des mesures prises sur les mêmes objets demandent une analyse qui conserve leur lien. Selon la documentation SciPy, version 1.18.0, le calcul automatique utilise une méthode dite exacte lorsqu’un groupe compte au plus 8 observations et qu’aucun score n’est à égalité. Cette méthode compare le résultat observé à sa distribution théorique sous l’hypothèse d’une même répartition des scores dans les populations comparées. Pour décider, il faut aussi connaître l’ampleur de l’écart et vérifier comment les groupes ont été constitués. Le protocole TW3 présenté plus loin mesure une séparation entre classes ; il sert ici d’appui méthodologique. Le compte rendu doit préciser les hypothèses retenues et les paramètres du calcul.
1. Quelle hypothèse teste Mann-Whitney ?
L’hypothèse de départ porte sur l’égalité des distributions dont proviennent les groupes. Une distribution décrit la manière dont les valeurs se répartissent dans une population. La documentation SciPy, version 1.18.0 présente Mann-Whitney comme un test non paramétrique : son emploi ne suppose pas de choisir une famille normale pour les scores. Le qualifier de non paramétrique laisse cependant entière la question des hypothèses à respecter.
Une lecture en termes de médianes exige un cadre supplémentaire. Dans leur article de 2010, Fay et Proschan distinguent plusieurs interprétations du même test. Le modèle de décalage suppose notamment des distributions continues qui conservent leur forme et se déplacent sur l’axe des valeurs. Dans ce cadre, comparer leur position permet une interprétation en termes de médianes. Cette lecture est une conséquence du modèle retenu.
Pour un responsable d’étude, la question à poser est donc celle du phénomène recherché : veut-on examiner l’ordre relatif des scores ou défendre un modèle de déplacement global de leur distribution ? Nous recommandons de fixer cette question avant le calcul et de l’inscrire dans le compte rendu.
2. Comment la statistique utilise-t-elle les rangs ?
La statistique U résume la place d’un groupe dans le classement commun des observations. Le code de SciPy, version 1.18.0 rassemble les échantillons, attribue les rangs et additionne ceux du premier groupe. Il transforme ensuite cette somme en U en retranchant la contribution liée à l’effectif de ce groupe.
Un rang désigne la position d’une valeur dans la série ordonnée. Pour les scores égaux, le code utilise des rangs moyens : la documentation SciPy de rankdata précise que chaque valeur à égalité reçoit la moyenne des positions qu’occuperait l’ensemble des valeurs concernées. La comparaison reste ainsi définie lorsque plusieurs observations portent le même score.
La lecture par paires apporte une intuition complémentaire. Dans leur article de 2010, Fay et Proschan définissent une mesure qui additionne la probabilité qu’une observation d’un groupe dépasse celle de l’autre et la moitié de la probabilité d’égalité. Cette quantité décrit un ordre relatif entre groupes ; la valeur p du test constitue une autre information. Les auteurs montrent que le test usuel n’est pas valide sous la seule hypothèse que cette somme vaut une moitié, lorsque les distributions peuvent être différentes. La probabilité de dépassement et les égalités doivent donc rester distinguées dans cette interprétation.
Le sens de la comparaison doit être déclaré. Dans la documentation SciPy, version 1.18.0, greater correspond à une distribution du premier groupe stochastiquement supérieure à celle du second : ses valeurs tendent à se situer plus haut. less inverse cette direction, tandis que two-sided recherche une différence sans retenir une direction particulière. Il est utile de conserver les noms des groupes dans le fichier de résultats pour rendre cet ordre de passage vérifiable.
3. Quels liens existe-t-il avec la discrimination ?
Comparer l’ordre des scores et mesurer leur capacité à séparer des classes sont des questions proches, dont les résultats doivent rester identifiés. La documentation stable de scikit-learn définit l’AUC ROC comme l’aire sous la courbe ROC. Cette courbe met en relation les taux de vrais et de faux positifs lorsque le seuil de classement varie. L’AUC résume cette courbe par une valeur.
Pour ce calcul, scikit-learn accepte des probabilités estimées ou des scores de décision auxquels aucun seuil n’a encore été appliqué. Le choix de la classe positive et le sens du score appartiennent donc au protocole de mesure. Avant de demander une comparaison statistique, faites préciser ce qu’un score élevé signifie et quelle classe il est censé distinguer.
Dans Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, Bajemon et Rochet rapportent une séparation entre classes par AUC, face à un contrôle neutre ajusté au même volume. L’apport retenu ici est ce choix méthodologique. Le papier n’applique pas le test de Mann-Whitney ; son utilisation constituerait une analyse supplémentaire à justifier.
| Résultat | Question traitée | Élément à conserver dans le rapport |
|---|---|---|
| Statistique U | Quelle place le groupe occupe-t-il dans les rangs communs ? | Ordre des groupes et effectifs |
| AUC ROC | Comment le score sépare-t-il les classes au fil des seuils ? | Classe positive et orientation du score |
| Valeur p | Quel degré d’incompatibilité avec le modèle statistique spécifié ? | Hypothèse et méthode de calcul |
Ce tableau rapproche les définitions de SciPy et de scikit-learn ; l’interprétation de la valeur p suit les principes de l’American Statistical Association détaillés plus loin.
4. Quand utiliser une méthode exacte ?
La taille des groupes et la présence d’égalités orientent le choix du calcul de la valeur p. La documentation SciPy, version 1.18.0, distingue les options suivantes :
exactcompare U à sa distribution exacte sous l’hypothèse nulle. Cette méthode ne corrige pas les égalités.asymptoticutilise une approximation normale de la statistique standardisée et corrige les égalités.autochoisitexactsi l’un des groupes compte au plus 8 observations et s’il n’y a aucune égalité ; il choisitasymptoticdans les autres cas.- Une instance de
PermutationMethodpermet un calcul par permutation avec les paramètres fournis.
La documentation comporte une nuance utile : ses notes recommandent la méthode exacte lorsque l’un des groupes compte moins de 8 observations, alors que la règle automatique inclut cette borne. Il convient de rapporter le calcul effectivement exécuté.
Avec des égalités et un petit groupe, décrit par SciPy comme comportant moins d’environ 10 observations, les notes invitent à envisager PermutationMethod. Elles avertissent aussi que l’appel à la méthode exacte ne produit ni erreur ni avertissement lorsque les données contiennent des égalités.
Pour préparer une analyse, demandez donc le décompte des égalités avant de retenir l’option. Archivez également l’activation de la correction de continuité : SciPy l’applique par défaut avec la méthode asymptotique. Ce paramètre participe à la reproductibilité du résultat.
5. Pourquoi l’indépendance doit-elle être vérifiée ?
L’indépendance se vérifie dans la construction des observations et des groupes. La documentation SciPy réserve Mann-Whitney aux échantillons indépendants et renvoie vers le test de Wilcoxon pour des observations liées ou appariées. Dans leur article de 2010, Fay et Proschan explicitent également l’indépendance des observations dans le cadre des modèles de population qu’ils examinent.
Deux versions du même objet forment une paire. Un avant-après portant sur les mêmes objets doit donc conserver ce lien dans la conception de l’analyse. Le simple fait de disposer de deux colonnes de scores ne permet pas de conclure à leur indépendance.
Le protocole TW3 de septembre 2026 construit, à partir d’une même source, une version modifiée et une version témoin comportant la même longueur de texte ajouté. Cette structure invite à identifier les dépendances avant d’ajouter un test entre groupes. La présentation d’une AUC ne résout pas, à elle seule, le choix du test d’hypothèse applicable aux observations.
TW3 recommande de joindre au fichier d’analyse l’identifiant de l’objet d’origine et celui de sa variante. Au moment de préparer les groupes, cette traçabilité permet de repérer les paires et les répétitions. Si plusieurs lignes proviennent du même objet, faites examiner le plan d’analyse avant d’interpréter une valeur p comme celle de deux échantillons indépendants. La responsabilité de ce choix revient à l’équipe qui connaît la production des données.
6. Comment présenter le résultat ?
Présentez ensemble la description des groupes, la procédure statistique et la portée de la conclusion. Dans son communiqué du 7 mars 2016, l’American Statistical Association rappelle qu’une valeur p peut indiquer l’incompatibilité des données avec un modèle statistique spécifié. Elle ne mesure ni la probabilité que l’hypothèse soit vraie, ni la taille de l’effet.
Le compte rendu proposé par le cabinet comporte les éléments suivants :
- La population visée, l’origine des observations et la justification de leur indépendance.
- Les effectifs effectivement analysés, la répartition des scores et les égalités observées.
- L’ordre des groupes, l’hypothèse nulle et l’alternative retenue.
- La statistique U, la valeur p, la version du logiciel et la méthode de calcul, avec ses paramètres.
- Une description de l’écart dans les unités du score, accompagnée de l’usage métier auquel on souhaite le rapporter.
Si une AUC est également calculée, nommez-la séparément avec ses conventions. Un lecteur pourra ainsi distinguer le résumé de la séparation entre classes et la conclusion du test.
Pour la décision, il est utile de définir à l’avance quel écart justifierait une investigation ou une modification du dispositif. Cette pratique prolonge un autre principe de l’Association : une décision scientifique ou économique doit reposer sur davantage que le franchissement d’un seuil de valeur p. Le rapport doit relier l’écart observé à cette décision, en conservant les conditions de validité du test.
FAQ
Ce test compare-t-il toujours les médianes ?
L’interprétation en médianes demande des hypothèses supplémentaires, notamment un modèle de décalage entre distributions continues de même forme. Fay et Proschan distinguent ce cadre de l’hypothèse générale d’égalité des distributions. Le compte rendu doit préciser l’interprétation retenue.
Peut-on l’utiliser sur un avant-après ?
Lorsque les mêmes objets sont mesurés avant et après, les observations sont appariées. SciPy oriente alors vers une méthode pour données liées, telle que Wilcoxon, dont les conditions doivent aussi être examinées. Conservez l’identifiant commun aux mesures pour permettre cette vérification.
Que faire avec des égalités ?
Il faut les identifier avant de choisir la méthode de calcul. SciPy corrige les égalités dans l’approximation asymptotique ; son option exacte usuelle ne les corrige pas. Pour un petit échantillon comportant des égalités, la documentation invite à envisager une méthode par permutation.
La valeur p mesure-t-elle la taille de l’écart ?
L’American Statistical Association distingue explicitement la significativité statistique de la taille de l’effet. Accompagnez donc la valeur p d’une description des distributions et de l’écart observé. L’importance de cet écart pour l’activité doit faire l’objet d’une appréciation distincte.
Le papier TW3 emploie-t-il Mann-Whitney ?
Le rapprochement proposé dans cet article est un complément méthodologique au protocole TW3. Le papier rapporte des comparaisons par AUC et comporte des variantes issues des mêmes sources. Tout ajout d’un test entre groupes demanderait de reprendre cette structure d’observation pour en vérifier les hypothèses.
Pour aller plus loin
- ROC ou précision-rappel : quelle courbe lire quand les événements sont rares ?
- Pearson, Spearman ou Kendall : choisir ce que l’on veut comparer
- Fixer un seuil de détection sous contrainte de faux positifs
Sources
- SciPy,
mannwhitneyu, documentation version 1.18.0, consulté le 9 octobre 2026. - SciPy, code de
mannwhitneyu, version 1.18.0, consulté le 9 octobre 2026. - SciPy,
rankdata, documentation version 1.18.0, consulté le 9 octobre 2026. - Fay et Proschan, Wilcoxon-Mann-Whitney or t-test? On assumptions for hypothesis tests and multiple interpretations of decision rules, 2010, consulté le 9 octobre 2026.
- scikit-learn, Metrics and scoring: quantifying the quality of predictions, documentation stable sans date éditoriale, consulté le 9 octobre 2026.
- Bajemon et Rochet, TW3 Partners, Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, consulté le 9 octobre 2026. Texte intégral HTML et PDF ouverts le même jour.
- American Statistical Association, communiqué sur la significativité et les valeurs p, 7 mars 2016, consulté le 9 octobre 2026.