Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 24 octobre 2026.

En bref

Lire un benchmark IA demande de vérifier sa date, le calcul du rang, la catégorie déclarée, l’usage des données de test et les réglages des concurrents. La prépublication TW3Cast, version v1 déposée sur arXiv le 16 septembre 2026, annonce une troisième place sur 130 entrées selon son calcul du 14 septembre 2026. Le tableau GIFT-Eval du 9 octobre 2026 à 12 h 08 min 47 s UTC place ce système en ligne 5. L’étiquette « agentic » lui a été proposée pour son routage entre modèles, selon l’échange avec le mainteneur du 18 septembre 2026. La documentation de Salesforce, mise à jour du 5 août 2025, définit la fuite de données par la présence de données de test dans l’entraînement. Enfin, la note de méthode de Racine.ai sur UI-DETR-1, relevée le 9 octobre 2026, rapporte un taux de clic réussi sur WebClick passant de 40,7 % à 58,8 % pour le système utilisant OmniParser, après réglage des paramètres et des consignes.

1. Pourquoi un rang doit-il toujours porter sa date ?

Un rang dépend des concurrents présents dans le classement au moment de son calcul. Dans leur prépublication du 16 septembre 2026, Nathan Thierry et André-Louis Rochet, tous deux affiliés à TW3 Partners, décrivent le relevé utilisé : les fichiers publics du 14 septembre 2026, auxquels ils ajoutent la soumission TW3Cast. Le calcul des auteurs le place troisième sur 130 entrées en rang moyen MASE, une mesure fondée sur l’erreur de prévision.

La fiche de RacineCast-1 publiée par Racine.ai annonce, elle, une première place selon les vues MASE_Rank et WQL_Rank lors de son ajout au tableau du 7 juillet 2026. Le fichier de provenance de Racine.ai, mis à jour le même jour, précise que cette annonce correspond à l’ajout de cette seule édition. Ces annonces décrivent donc des comparaisons dont il faut conserver le périmètre exact.

Voici les positions relevées dans l’onglet Overall de GIFT-Eval le 9 octobre 2026 à 12 h 08 min 47 s UTC. « Ligne » désigne ici la position dans l’ordre servi par la page, sans retri de notre part.

SystèmeLigne du tableauMASE_Rank affiché
TW3Cast522,773
RacineCast-11530,732

Notre recommandation est de conserver ensemble la date, l’onglet, les filtres et la version du système cité. Pour suivre une évolution, il faut également garder les fichiers de résultats : une position seule laisse ouverte la cause du déplacement.

2. Comment un classement calcule-t-il un rang moyen ?

Dans GIFT-Eval, le rang moyen agrège les places obtenues sur chaque configuration d’évaluation. Le code de calcul de Salesforce, relevé le 9 octobre 2026, normalise d’abord les métriques par une référence naïve saisonnière. Il classe ensuite les systèmes pour chaque combinaison de jeu de données, fréquence et horizon de prévision, puis calcule la moyenne de leurs places.

Le MASE_Rank désigne donc une moyenne de rangs selon le MASE. Cette moyenne dépend de l’ensemble des concurrents : leur ajout peut modifier les places par configuration, même si les prévisions d’un système restent identiques. C’est une conséquence du calcul, à distinguer d’une variation de son erreur de prévision.

Un autre détail mérite attention : le protocole de TW3Cast, publié en septembre 2026, attribue aux ex æquo le même rang minimal. Le code public utilise une règle qui les départage selon leur ordre d’apparition, conformément à la documentation de pandas relevée le 9 octobre 2026. La comparaison entre papier et page exige donc de vérifier aussi la règle de calcul.

Enfin, le code d’affichage de Salesforce, relevé le même jour, trie l’onglet principal par déclaration de fuite de données, puis par MASE_Rank. La ligne affichée dépend de ces critères successifs. Pour approfondir les mesures, voir « Précision ou calibration : ce que révèle l’écart entre les deux rangs de TW3Cast ».

3. Que dit la catégorie déclarée d’un système ?

Une catégorie traduit un choix de classement dont le sens se vérifie dans la description du système. Dans son journal de mises à jour du 5 août 2025, Salesforce présente « Agentic » comme une catégorie pour les soumissions utilisant un système agentique afin de produire des prévisions.

L’échange de septembre 2026 sur la soumission TW3Cast montre comment cette catégorie est appliquée. Le mainteneur la propose parce que le système oriente les prévisions entre plusieurs modèles. Le soumetteur accepte l’étiquette et précise que TW3Cast fonctionne sans agent ni modèle de langage.

Le papier TW3Cast de septembre 2026 décrit une table de routage construite sur la partie entraînement, puis figée. Son tableau de résultats emploie le terme « router ». La catégorie du classement et la description de l’architecture remplissent ainsi des fonctions différentes.

Pour une consultation fournisseur, nous recommandons de demander la description des traitements effectivement exécutés. Il faut notamment préciser ce qui est décidé avant utilisation et ce qui peut encore changer pendant la production d’une prévision. Cette description donne au décideur les éléments nécessaires pour apprécier le fonctionnement annoncé.

4. À quoi sert la colonne de fuite des données de test ?

La colonne renseigne la présence déclarée de données de test dans les données d’entraînement. La définition publiée par Salesforce le 5 août 2025 porte sur cette question précise. Pour apprécier le protocole complet, il faut aussi examiner comment les auteurs ont choisi leur système parmi les candidats essayés.

Racine.ai le documente dans PROVENANCE.md, mis à jour le 7 juillet 2026. Le fichier déclare une sélection du candidat publié d’après les performances sur le test. Les auteurs distinguent explicitement cette sélection d’un ajustement des poids sur le test et conservent une déclaration d’absence de fuite au sens de l’entraînement.

Selon le protocole publié pour TW3Cast en septembre 2026, les décisions de sélection utilisent un test rétrospectif découpé dans la période d’entraînement. Les membres du groupe de modèles déclarent eux-mêmes l’absence de recouvrement entre leur entraînement et les jeux de test.

Nous recommandons de demander séparément quelles données ont servi à l’apprentissage, au choix des candidats et au réglage des seuils. Voir aussi « Choisir un modèle de prévision sans regarder les données de test : le backtest découpé dans la période d’entraînement ».

5. Le résultat dépend-il des réglages du concurrent ?

Oui : une comparaison doit préciser les réglages de chaque système évalué. Dans le billet UI-DETR-1 de Racine.ai et TW3 Partners, publié le 1er octobre 2025 et modifié le 20 novembre 2025, les auteurs annoncent une révision méthodologique : ils ont repris l’évaluation avec des seuils de détection adaptés et des consignes textuelles affinées.

La note de méthode de la fiche UI-DETR-1, relevée le 9 octobre 2026, donne les taux de clic réussi suivants sur WebClick. Selon le billet, le résultat évalue la chaîne complète : le détecteur repère les éléments, puis un modèle de langage sélectionne celui sur lequel cliquer.

Détecteur utilisé dans le système évaluéTaux de clic réussi initialTaux de clic réussi révisé
OmniParser V240,7 %58,8 %
UI-DETR-167,5 %70,8 %

Pour OmniParser, la révision associe une modification des paramètres de détection et des consignes. Pour UI-DETR-1, les auteurs attribuent la progression aux seules consignes système, avec un seuil de détection conservé. Les résultats portent donc sur les systèmes évalués dans ces conditions.

Notre recommandation est de demander, avec tout tableau comparatif, les paramètres appliqués à chaque concurrent et la procédure de leur sélection. Si plusieurs réglages ont été essayés, le dossier doit préciser quelles données ont servi à les départager. Le décideur peut alors apprécier la portée de l’écart annoncé.

6. Le résultat a-t-il été reproduit ?

La reproduction se vérifie pour chaque soumission, avec son périmètre exact. La documentation de Salesforce du 17 octobre 2025 définit la colonne « Replication Code » comme un indicateur de disponibilité publique du code d’évaluation. Une attestation de reproduction doit être recherchée séparément.

Dans l’échange du 16 juillet 2026 sur RacineCast-1, le mainteneur indique avoir reproduit les valeurs soumises sur un sous-ensemble aléatoire de tâches. Pour TW3Cast, la discussion de septembre 2026 décrit une correction avant acceptation : le soumetteur déclare avoir recalculé 17 lignes sur 97 à partir des éléments publiés, après avoir constaté la perte des fichiers nécessaires à leur reproduction. Le mainteneur confirme ensuite, le 23 septembre, pouvoir reproduire les résultats modifiés.

Le même échange précise que la reproduction exacte passe par les prévisions sauvegardées et leur évaluation avec l’outil officiel. Le soumetteur y indique que le code de sélection du tournoi reste non publié. La procédure décrite vérifie ainsi les scores des prévisions fournies ; rejouer la procédure qui choisit ces prévisions constitue une vérification supplémentaire.

Nous recommandons de consigner ce que le tiers a exécuté, sur quelles tâches et à partir de quels fichiers.

7. Quelles questions poser avant de citer un classement ?

Notre recommandation de cabinet consiste à joindre au rang une courte fiche de lecture. Elle doit permettre à un collègue de retrouver la comparaison et de comprendre sa portée sans reconstruire toute l’évaluation.

  • À quelle date le rang a-t-il été obtenu, face à quelles entrées et dans quel onglet ?
  • Quelle métrique est utilisée, comment les résultats sont-ils agrégés et comment les ex æquo sont-ils traités ?
  • Qui a déclaré la catégorie, et quelle description du système la justifie ?
  • Quelles données ont servi à l’entraînement, à la sélection et au réglage des paramètres ?
  • Quels réglages et quelles consignes ont été appliqués aux concurrents ?
  • Quel tiers a reproduit le résultat, sur quel périmètre et avec quels éléments accessibles ?

Pour un choix d’équipement, nous recommandons ensuite un essai sur les données de l’organisation, avec des critères d’acceptation définis avant la mesure. Le protocole doit correspondre à la décision attendue : sélectionner une prévision centrale, apprécier une fourchette d’incertitude ou exécuter une tâche d’interface appelle des critères explicites.

Voir aussi « Trois erreurs trouvées et corrigées avant publication : l’audit interne d’un papier de recherche appliquée ».

FAQ

Pourquoi TW3Cast apparaît-il à des positions différentes ?
Le papier de septembre 2026 et le tableau relevé le 9 octobre 2026 décrivent des états distincts. Le champ de comparaison, la règle de traitement des ex æquo et la version du fichier soumis doivent être examinés ensemble pour interpréter l’écart.

Qu’est-ce que le MASE_Rank ?
Selon le code Salesforce relevé le 9 octobre 2026, c’est la moyenne des places obtenues selon le MASE sur les configurations évaluées. Il dépend donc des concurrents présents dans le calcul.

Une entrée « agentic » utilise-t-elle un modèle de langage ?
L’étiquette seule ne permet pas de le conclure. Dans l’échange sur TW3Cast de septembre 2026, le routage entre modèles justifie ce classement, alors que le soumetteur précise fonctionner sans modèle de langage.

La reproduction d’un score contrôle-t-elle l’absence de fuite ?
Dans les échanges de juillet 2026 sur RacineCast-1, le mainteneur déclare avoir reproduit des valeurs sur certaines tâches. Pour examiner l’usage du test dans la sélection, il faut lire aussi la déclaration de provenance du 7 juillet 2026.

Que vaut une première place annoncée par un éditeur ?
Elle se lit à la date et dans le périmètre annoncés. Le fichier de provenance de RacineCast-1 du 7 juillet 2026 rattache ainsi cette place au tableau de ce jour et à l’ajout de cette seule édition.

Un classement suffit-il pour choisir un modèle ?
Nous recommandons de l’utiliser pour préparer les essais. Le choix final doit s’appuyer sur un protocole adapté aux données, aux erreurs acceptables et aux contraintes d’exploitation de l’organisation.

Pour aller plus loin

Sources