Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 5 novembre 2026.

En bref

Sur petit échantillon, un test de permutation exact fournit une valeur p dont la résolution dépend du nombre d’appariements possibles. Dans Scoring Without the Engine, déposé par Bajemon et Rochet le 7 septembre 2026, le test porte sur les ancres, références associées aux interventions. Cette prépublication TW3 Partners donne un plancher de 1/120, environ 0,0083, avec cinq ancres, puis de 1/6, environ 0,167, avec trois ancres. La permutation est unilatérale : elle compte les corrélations au moins aussi grandes que celle observée, à tolérance numérique près. Le code public de TW3-Partners-OS conserve les réponses du score fixes pendant ce calcul ; son bootstrap rééchantillonne les documents.

1. Quel est le petit échantillon dans cette expérience ?

La corrélation étudiée porte sur les réponses moyennes aux interventions, chacune associée à une ancre. Une ancre désigne ici une valeur de référence liée à une modification du contenu. Dans le papier de Bajemon et Rochet du 7 septembre 2026, ces références proviennent des effets historiques publiés en 2023 et repris pour l’étalonnage du score.

Le calcul commence au niveau des documents. Pour chaque intervention, les auteurs comparent le score du texte modifié à celui du même texte enrichi d’un ajout neutre de longueur équivalente. Ils calculent ensuite la moyenne de ces écarts sur les documents du jeu évalué. Cette correction du volume vise à distinguer la réponse à l’intervention de celle à l’allongement du texte.

La corrélation rapproche alors le vecteur des réponses moyennes du vecteur des ancres correspondantes. Les cinq ancres donnent cinq couples de valeurs, même si les moyennes reposent sur de nombreux documents. Le nombre de documents ne peut donc pas remplacer le nombre d’ancres dans le décompte des permutations.

Cette distinction fixe aussi le sens du résultat : il s’agit d’un alignement des réponses du score sur des références historiques. La corrélation présentée ici ne mesure ni la fréquence des citations par les moteurs ni la capacité à les prédire.

2. Comment fonctionne le test exact publié ?

Le test énumère les ordres possibles des ancres et compare chaque corrélation à celle obtenue avec leur appariement d’origine. La fonction perm_pvalue du code TW3-Partners-OS, dans la version archivée pour cette lecture, suit ce calcul :

  • Elle mesure la corrélation de Pearson entre les réponses moyennes et les ancres dans leur ordre initial.
  • Elle parcourt toutes les permutations du vecteur des ancres, en laissant le vecteur des réponses inchangé.
  • Elle compte les corrélations supérieures ou égales à la corrélation observée, ainsi que les valeurs légèrement inférieures dans la tolérance numérique du code.
  • Elle divise ce compte par le nombre total d’ordres.

L’alternative est donc unilatérale, orientée vers les grandes corrélations. La question posée est la suivante : quelle proportion des appariements produit un alignement au moins aussi élevé que celui observé, à cette tolérance près ? L’ordre initial figure dans l’énumération et satisfait lui-même ce critère.

La documentation officielle de SciPy, sans date de publication indiquée, décrit cette logique pour l’alternative greater. Son mode pairings permute les appariements entre observations et convient aux statistiques de corrélation. Le dépôt du papier utilise sa propre fonction ; SciPy fournit ici la référence documentaire pour interpréter le calcul.

3. Pourquoi existe-t-il un plancher à 0,0083 puis à 0,167 ?

Le plancher vient du nombre limité d’ordres et de l’inclusion de l’ordre observé dans le comptage. Le papier de Bajemon et Rochet, 7 septembre 2026, expose les calculs suivants pour son test exact unilatéral :

PérimètreNombre d’ordresPlancher combinatoire
Cinq ancres historiques5! = 1201/120, soit environ 0,0083
Trois ancres du réétalonnage3! = 61/6, soit environ 0,167

Le point d’exclamation désigne la factorielle, qui dénombre les ordres. Pour les cinq ancres, la valeur p avance par multiples de l’inverse du nombre d’ordres. Le minimum correspond au cas où seul l’ordre observé entre dans le comptage. Si plusieurs ordres satisfont le critère de comptage, la valeur obtenue augmente. Les égalités peuvent ainsi relever le minimum effectivement atteint.

Le même papier indique que plusieurs stratégies atteignent le plancher dans son tableau de comparaison. À ce niveau, la valeur p ne les départage plus, alors que leurs corrélations et leurs réponses aux contrôles diffèrent. Le choix de la stratégie repose sur les critères de validation du protocole.

Avec trois ancres, le plancher dépasse 0,05, seuil employé notamment dans les exemples de la documentation SciPy. Même l’appariement le plus favorable ne peut donc conduire à un résultat significatif à ce seuil dans cette construction. Ces bornes concernent ce test unilatéral et ces permutations ; elles ne définissent pas les minima de tous les tests de permutation.

4. À quelle incertitude répond le bootstrap des sources ?

Le bootstrap décrit ici la variabilité des réponses moyennes lorsque les documents du jeu de test sont rééchantillonnés. Dans la fonction eval_strategy du code TW3-Partners-OS, chaque tirage sélectionne des indices de documents, recalcule les réponses moyennes, puis leur corrélation avec les ancres. Le tirage se fait avec remise : c’est le comportement par défaut de Generator.choice, confirmé par la documentation NumPy, sans date de publication indiquée.

Les mêmes indices servent à toutes les interventions d’un tirage. Les ancres et les poids du score restent fixes. L’intervalle obtenu dépend donc des documents disponibles et du dispositif déjà ajusté.

Le tableau 2 de Bajemon et Rochet, 7 septembre 2026, rapporte pour la stratégie retenue, à transformation racine carrée, une corrélation de Pearson de 0,949, un intervalle bootstrap à 95 % de 0,932 à 0,964, et une valeur p de permutation de 0,0083. Ces résultats appartiennent à la même ligne : confirmation sur 250 sources de test, avec contrôle du volume et correction de l’intervention de contrôle négatif.

La corrélation décrit l’alignement observé. L’intervalle renseigne sa variabilité au rééchantillonnage des documents. La valeur p situe cet alignement parmi les appariements d’ancres. Une estimation stable sur les documents peut ainsi coexister avec une résolution limitée du test sur les ancres. Ces mesures ne constituent pas une probabilité que l’hypothèse examinée soit vraie.

5. Quelles hypothèses et quelles opérations le test couvre-t-il ?

Le test examine les appariements de vecteurs déjà calculés, sous une hypothèse qui autorise leur permutation. La documentation SciPy, sans date de publication indiquée, décrit pour pairings une hypothèse nulle où les observations de chaque échantillon proviennent d’une même distribution et où leurs appariements avec l’autre échantillon sont aléatoires. Appliquer cette référence au protocole suppose donc de justifier l’échangeabilité des appariements d’ancres sous l’hypothèse examinée.

TW3 recommande de justifier l’échangeabilité et de choisir l’alternative avant d’examiner les données. Une recherche d’alignement positif motive la queue supérieure ; une question portant sur des écarts dans les deux sens appelle une autre définition du test. L’alternative doit correspondre à la question de validation annoncée.

La lecture de perm_pvalue et de son appel depuis eval_strategy établit que les réponses moyennes sont calculées avant la permutation. Celle-ci ne relance ni l’ajustement des poids ni le choix de la famille d’agrégation.

Nous en tirons une limite méthodologique : cette valeur p décrit l’association conditionnellement aux réponses fixées ; elle ne valide pas statistiquement toute la procédure de recherche et de sélection. Cette lecture du code complète le protocole décrit par les auteurs en septembre 2026, qui sépare l’ajustement sur les données d’entraînement, la sélection selon les critères de validation et la confirmation sur les données tenues à l’écart.

6. Que rapporter lorsqu’un test manque de résolution ?

La restitution doit rendre visibles l’unité permutée et la limite de résolution à côté du résultat. À partir du protocole étudié, TW3 recommande de documenter dans la note de validation :

  • les observations permutées et le vecteur conservé fixe ;
  • le nombre d’ordres possibles et le plancher associé ;
  • la statistique observée et l’alternative retenue ;
  • l’énumération exacte ou la simulation utilisée ;
  • le périmètre de l’intervalle d’incertitude présenté séparément ;
  • les opérations d’ajustement accomplies avant le test.

La documentation SciPy distingue l’approximation par permutations aléatoires de l’énumération de tous les ordres. Une fois cette énumération achevée, répéter les mêmes ordres ne crée aucun nouvel appariement. Augmenter le nombre de documents peut modifier la précision des réponses moyennes, tout en laissant inchangé le plancher lié au nombre d’ancres.

Dans le réétalonnage publié par Bajemon et Rochet le 7 septembre 2026, le faible nombre d’ancres impose donc une réserve sur la capacité du test à conclure. TW3 recommande de conserver cette réserve avec la corrélation et les autres contrôles du protocole. L’absence de significativité ne suffit pas à établir une absence d’effet ou une égalité générale entre stratégies.

FAQ

Plus de documents abaissent-ils automatiquement la valeur p minimale ?
Le plancher dépend ici du nombre d’ancres permutées. Les documents interviennent dans l’estimation des réponses moyennes, à un autre niveau, comme le montre eval_strategy dans le code cité.

Peut-on obtenir une valeur p nulle avec ce test exact ?
L’ordre observé fait partie des permutations comptées par perm_pvalue. Sa présence impose un minimum strictement positif lorsque la corrélation est définie.

Faut-il toujours permuter les deux vecteurs ?
Selon la documentation SciPy citée, permuter un seul vecteur suffit lorsque la statistique dépend uniquement des appariements. Le code étudié permute les ancres et conserve les réponses fixes.

Pourquoi le test est-il unilatéral ?
La fonction compte les corrélations au moins aussi grandes que la corrélation observée, à tolérance numérique près. Une autre alternative pose une autre question et peut produire une autre valeur p.

Le bootstrap et la permutation décrivent-ils la même incertitude ?
Leurs objets diffèrent dans ce protocole. Le bootstrap rééchantillonne les documents ; la permutation change les appariements des ancres.

Le plancher à trois ancres prouve-t-il qu’un score ne fonctionne pas ?
Il limite ce que ce test peut établir. L’évaluation du score conserve les autres résultats, leurs hypothèses et leur domaine d’application.

Pour aller plus loin

Sources