Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 18 octobre 2026.

En bref

La reproductibilité en recherche IA permet à un tiers de recalculer des résultats à partir des données et du code disponibles. Dans Scoring Without the Engine, déposé sur arXiv le 7 septembre 2026, Elisha Bajemon et André-Louis Rochet documentent aussi les erreurs trouvées pendant leur étude. Une fuite entre entraînement et test faisait monter une corrélation à 0,48 ; après correction, elle retombe à 0,065 sur le jeu initial à sept moteurs. Un défaut du contrôle négatif a conduit à régénérer les données concernées et à relancer les analyses. Un indicateur de confiance a échoué deux fois à sa confirmation et reste publié comme résultat négatif. L’audit de 163 assertions vérifie la concordance entre les chiffres du papier et les fichiers publiés, avec une limite explicite : il ne certifie pas la justesse du code qui les a produits.

1. Que publie le papier sur ses propres erreurs ?

Le papier expose les défauts trouvés, leur correction et leurs conséquences sur les conclusions. L’introduction de Scoring Without the Engine, arXiv, 7 septembre 2026 énumère trois défauts corrigés : une sous-mesure incomplète, une modification défectueuse servant de contrôle négatif et une fuite dans l’évaluation du classement.

Leur point commun est de toucher les moyens de mesurer le résultat. Le premier concerne ce que le score reconnaît dans un texte. Le suivant concerne la transformation censée mettre le score à l’épreuve. Le dernier concerne la séparation des données utilisées pour apprendre et pour tester. L’indicateur de confiance relève, lui, d’une hypothèse dont l’utilité n’a pas été confirmée lors des essais.

La section consacrée aux limites formule séparément ce constat : « three harness bugs were found in total, and the honest inference from finding three is a residual risk of undiscovered ones. » Les auteurs déduisent donc des bugs découverts un risque résiduel de défauts encore inconnus. Le rapprochement avec la liste de l’introduction est notre lecture de ces passages ; la réserve sur le risque résiduel est explicite dans le papier.

2. Comment une fuite de requêtes a-t-elle gonflé la première évaluation ?

Une même requête pouvait se retrouver dans les données d’entraînement et de test, sous des moteurs différents. La section sur l’évaluation du classement, arXiv, 7 septembre 2026 indique que 150 des 229 requêtes apparaissent sous plusieurs moteurs. Le découpage initial séparait des couples moteur et requête. Il laissait donc circuler entre les groupes une information que le modèle pouvait mémoriser.

Dans cette évaluation, une fuite de données désigne le passage d’informations sur les requêtes de test dans les données utilisées pour entraîner le modèle. Une sonde privée de la requête, mais capable de combiner les caractéristiques des contenus, atteignait une corrélation de Spearman de 0,48, soit quatre fois celle du score fixe. Cette corrélation compare les classements des sources au sein de chaque requête. Les auteurs attribuent ce résultat à la mémorisation des résultats propres à chaque requête.

Après un découpage qui réserve des requêtes entières au test, la même sonde tombe à 0,065 sur le jeu initial à sept moteurs. La correction porte sur la manière d’évaluer : une requête doit rester du même côté de la séparation, quel que soit le moteur qui l’a traitée.

L’annexe consacrée à cette fuite décrit aussi une conclusion inversée. Avec le découpage défectueux, les caractéristiques issues de modèles semblaient presque dispensables. Une fois les requêtes séparées, les auteurs concluent à leur utilité dans cette évaluation. Pour une direction qui examine une évaluation, notre recommandation est donc de demander comment les groupes de test ont été constitués avant d’interpréter l’écart entre les solutions.

3. Quel bug touchait le contrôle négatif, et qu’a-t-il changé ?

Le contrôle négatif ajoutait du bruit de lettres au lieu des mots-clés répétés prévus par le protocole. Selon le récit de l’audit, arXiv, 7 septembre 2026, une double jointure de chaînes de caractères insérait des espaces entre chaque lettre. Le test censé mesurer la réaction au bourrage de mots-clés portait ainsi sur une autre transformation.

Les auteurs ont trouvé cette erreur en préparant la spécification formelle de leur méthode. Ils ont corrigé la transformation, régénéré les variantes concernées dans les jeux de données capturées, puis relancé toutes les analyses qui en dépendaient. Ils précisent que tous les chiffres publiés dans le papier sont postérieurs à cette correction.

La conséquence touche l’explication de l’échec d’une famille de méthodes comparées. Avant correction, cette famille échouait au contrôle négatif. Avec un véritable bourrage de mots-clés, elle passe ce contrôle, mais échoue au test de réponse à la dose, qui examine la réaction à une intensification de la modification. La famille concave retenue reste la seule méthode ajustée qui franchit les cinq critères de validation.

Notre recommandation pour un audit fournisseur est de faire décrire la transformation effectivement appliquée aux données. Le nom du test et son objectif ne suffisent pas à examiner son exécution. La vérification doit porter sur les entrées transformées et sur les analyses relancées après correction.

4. Quel trou de couverture le test par intervention a-t-il révélé ?

Une sous-mesure ne reconnaissait pas les citations accompagnées de leur attribution. Le papier déposé le 7 septembre 2026 sur arXiv explique que ses règles ne repéraient que des formulations de définition. Lors du premier essai en français, ajouter des propos cités augmentait le nombre de phrases sans produire de correspondance avec ces règles. La valeur mesurée baissait donc après cet ajout.

Les auteurs ont ajouté des règles de reconnaissance des propos cités avec attribution, en français et en anglais. La réponse de la sous-mesure devient positive. Pour la méthode retenue, la corrélation de Pearson utilisée pour mesurer le transfert au français passe de 0,59 à 0,836 sur les données corrigées.

L’enseignement pour l’audit concerne la couverture de la mesure. Les auteurs décrivent un défaut que les corrélations observées ne révélaient pas : c’est une modification ciblée du texte qui l’a rendu visible. Nous recommandons de demander quelle modification d’entrée doit faire évoluer chaque indicateur, dans quel sens, puis de vérifier cette réaction sur les langues du périmètre prévu. L’article Valider un indicateur bon marché qui remplace une mesure coûteuse : le protocole de Scoring Without the Engine prolonge cette question de méthode.

5. Et l’indicateur de confiance qui n’a pas tenu ?

L’indicateur de confiance reste publié comme résultat négatif après avoir échoué deux fois sur des données tenues à l’écart. La section sur l’évaluation, arXiv, 7 septembre 2026 indique qu’il reposait sur la dispersion des scores et renvoie au fichier de résultats dispersion_confidence_report.json.

Il devait aider à repérer les comparaisons fiables. Son échec à la confirmation empêche de retenir cette fonction comme un résultat établi. Il faut donc le distinguer des bugs corrigés : le papier conserve ici la trace d’une piste qui n’a pas tenu lors de sa vérification.

Pour un acheteur de prestations d’IA, nous recommandons de demander les résultats des essais de confirmation, y compris ceux qui ont conduit à abandonner une option. Cette demande permet d’examiner sur quelles observations le fournisseur a arrêté son choix. Elle doit aussi préciser quelles données avaient été réservées à la confirmation, sans servir au choix initial.

6. Que vérifie l’audit des 163 assertions ?

L’audit vérifie l’accord entre les chiffres clés imprimés dans le papier et les fichiers de résultats publiés. La section sur les limites, arXiv, 7 septembre 2026 circonscrit expressément la portée des 163 assertions à ce risque de divergence. Une erreur dans le code de mesure peut produire des fichiers cohérents avec le texte ; leur concordance ne suffit donc pas à établir que le calcul mesure bien ce qui était prévu.

Le README du dépôt TW3 Partners associé au papier décrit la commande reproduce.sh : elle relance les analyses à partir des données publiées, puis exécute le contrôle de cohérence. Le dépôt annonce environ 10 à 20 minutes sur le processeur d’un ordinateur portable, sans réseau, clé d’API ni processeur graphique pour cette exécution. Les versions des bibliothèques sont figées et les tirages aléatoires utilisent des graines explicites, c’est-à-dire des valeurs initiales fixées.

Le NOTICE du même dépôt précise le périmètre : le moteur de score est absent, les caractéristiques qu’il a calculées sont fournies. Les analyses peuvent ainsi repartir de ces données enregistrées ; recalculer les caractéristiques depuis le texte brut demanderait le moteur. Dans une revue de reproductibilité, nous recommandons de fixer ce point de départ par écrit.

7. Quelles questions poser à un fournisseur qui présente des résultats ?

Nous recommandons d’examiner la séparation des données, l’exécution des contrôles et le périmètre du recalcul. La grille suivante est une proposition de méthode du cabinet, tirée de la lecture de cet audit interne.

Question à poserPièce à demander
Une même information peut-elle se retrouver dans l’entraînement et le test ?La règle de découpage par requête, client ou période, selon le projet.
Quelle transformation le contrôle négatif applique-t-il réellement ?Les données avant et après transformation, ainsi que le code correspondant.
Le résultat a-t-il été confirmé sur des données tenues à l’écart ?Le résultat de confirmation et la chronologie des choix de méthode.
Quelles pistes ont échoué lors de cette confirmation ?Les résultats négatifs conservés et les décisions associées.
À partir de quoi peut-on refaire les calculs ?Les fichiers nécessaires, les versions logicielles et les composants manquants.

Nous proposons de joindre ces pièces au dossier de décision et de nommer la personne chargée d’examiner les écarts. Pour les résultats provenant d’un palmarès, l’article Lire un classement public de modèles : date du relevé, catégorie déclarée et fuite des données de test complète ce parcours de lecture.

FAQ

Qu’est-ce qu’une fuite de données dans une évaluation ?
Dans Scoring Without the Engine, arXiv, 7 septembre 2026, une même requête pouvait apparaître en entraînement et en test sous des moteurs différents. Le modèle pouvait mémoriser des résultats propres à cette requête. Le papier corrige le problème en séparant les groupes par requête entière.

Pourquoi publier les bugs trouvés ?
Les auteurs expliquent que la publication d’un dispositif de test déterministe rend ses erreurs repérables et attribuables. Elle permet aussi de relancer les analyses après correction et d’en examiner les conséquences. Ils opposent cette possibilité à la difficulté d’auditer rétrospectivement une évaluation menée par interrogation de moteurs et affectée du même défaut.

Trois bugs trouvés signifient-ils qu’il n’en reste aucun ?
Les auteurs en déduisent un risque résiduel de bugs encore inconnus. Notre recommandation est de conserver cette réserve dans le dossier d’évaluation, avec les vérifications effectuées et leurs limites.

Peut-on refaire les calculs soi-même ?
Le README décrit une exécution hors ligne avec reproduce.sh, à partir des données fournies. Le moteur de score est absent du dépôt. Le fichier LICENSE-DATA de TW3 Partners réserve le partage et l’adaptation de ces données aux usages non commerciaux, avec attribution et partage sous la même licence.

Les corrections ont-elles changé les conclusions ?
La correction du contrôle négatif a conservé la sélection principale, tout en changeant le motif de rejet d’une méthode concurrente. La correction de la fuite entre entraînement et test a inversé la conclusion sur l’utilité des caractéristiques issues de modèles. Il faut donc examiner les effets de chaque correction sur le raisonnement.

L’audit de cohérence établit-il l’exactitude des résultats ?
Il vérifie que les chiffres imprimés correspondent aux fichiers publiés. Les auteurs précisent qu’il ne certifie pas la justesse du code qui a produit ces fichiers. Le contrôle de la méthode de mesure reste une tâche distincte.

Pour aller plus loin

Sources