Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 7 novembre 2026.
En bref
Pour surveiller une IA chaque jour, il faut une règle d’alerte qui tienne compte des résultats déjà observés. Dans sa prépublication déposée sur arXiv le 13 juin 2026, Yitao Li propose un suivi statistique qui encadre les fausses alertes sous des hypothèses précises. L’enjeu pour une direction est de décider quand enquêter sur le système d’IA ou sur le modèle chargé de le noter. L’étude de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026, porte sur 17 livrables, exercices sur informations publiques, et conserve une portée exploratoire. Le dispositif de Li relève d’une méthode distincte : la maîtrise des fausses alertes ne promet aucun délai universel de détection. Avant de l’adopter, l’équipe doit fixer les règles d’alerte et vérifier que sa référence reste pertinente.
1. Pourquoi regarder le résultat chaque jour change-t-il la question ?
La question change lorsque l’équipe choisit d’arrêter le test parce qu’un résultat vient de franchir un seuil. Un test prévu pour une analyse finale et une procédure consultée jusqu’à l’apparition d’une alerte ont des règles de décision différentes.
Dans sa prépublication déposée sur arXiv le 13 juin 2026, Li explique qu’un test conçu pour une analyse à horizon fixe ne conserve pas automatiquement sa garantie lorsqu’on le répète jusqu’à un arrêt choisi d’après les données. Il compare notamment son dispositif à un test recalculé sur une fenêtre glissante, sans correction séquentielle. Cette comparaison porte sur les flux de son expérience.
Le point de validation est donc la règle qui transforme une observation en décision. Regarder un graphique pour préparer une réunion et interrompre une évaluation dès qu’un indicateur devient défavorable n’engagent pas le même protocole. Nous recommandons de décrire cette règle avant le démarrage : quelles observations entrent dans le test, quel franchissement déclenche une alerte et qui interprète celle-ci ?
Cette distinction délimite aussi l’apport TW3. Dans leur prépublication déposée sur arXiv le 30 septembre 2026, Gibert, Despujols et Rochet citent Li, mais étudient rétrospectivement des notations répétées, sans références humaines fixes ni garantie de détection de dérive. Leur étude invite à prendre en compte les variations de notes dans une campagne d’évaluation.
2. Que signifie une garantie valable à tout instant ?
Une garantie valable à tout instant borne la probabilité qu’une procédure déclenche une fausse alerte à un moment quelconque de son suivi, sous l’hypothèse testée.
Dans le dispositif de Li, juin 2026, le contrôle du juge repose sur des ancres, c’est-à-dire des éléments fixes dotés de notes humaines figées avant la surveillance. Le juge courant les réévalue régulièrement. Le test suit les écarts entre ses notes et les références humaines, comparés à leur niveau initial.
L’hypothèse d’absence de changement exige que la moyenne attendue de ces écarts, compte tenu du passé, demeure égale à la référence initiale pour chaque critère. Si cette hypothèse et les conditions de construction sont respectées, le risque que la famille de tests sur les ancres déclenche une alerte reste borné, même lorsque l’horizon d’observation dépend des résultats.
La portée de cette propriété doit rester précise. Elle protège contre une fausse accusation de changement du juge lorsque celui-ci respecte l’hypothèse de stabilité. Détecter une modification réelle assez vite pour l’attribuer correctement dépend aussi de la sensibilité du dispositif.
Pour une décision de mise en service, il est utile de demander séparément la justification du contrôle des fausses alertes et les essais de détection sur les dérives recherchées. Une réponse à la première demande ne fournit pas automatiquement la seconde.
3. Qu’est-ce qu’un e-processus dans ce dispositif ?
Un e-processus désigne ici une suite de valeurs non négatives qui accumule des éléments statistiques contre l’hypothèse de stabilité au fil des observations. Sa valeur peut monter ou descendre ; elle sert à décider si un seuil d’alerte est atteint.
La construction de Li, juin 2026, transforme l’écart entre juge et référence humaine en une quantité bornée. Chaque nouvelle observation fournit ensuite un facteur multiplicatif. Le produit de ces facteurs forme le processus suivi pour un critère et un sens de variation : un juge devenu plus sévère ou plus indulgent.
La validité tient à des contraintes vérifiables. Les facteurs doivent rester non négatifs. Le coefficient qui règle leur sensibilité est choisi à partir des observations antérieures, avant de connaître l’écart courant : c’est la prédictibilité. Sous l’hypothèse nulle, qui décrit ici la stabilité de la moyenne conditionnelle des écarts, le processus possède la propriété de supermartingale non négative. Autrement dit, son espérance après la prochaine observation, conditionnellement au passé, ne dépasse pas sa valeur actuelle. Cette propriété permet de borner le risque de franchissement du seuil.
Pour relire une implémentation, on peut traduire ces conditions en questions concrètes : le calcul du coefficient utilise-t-il uniquement le passé ? Les bornes sont-elles respectées pour toutes les notes possibles ? La référence employée correspond-elle bien au processus nul annoncé ?
Le produit ainsi obtenu mesure une accumulation d’indices contre une hypothèse. La note moyenne et le détail des erreurs restent utiles à côté de lui pour comprendre la qualité des productions.
4. Comment le seuil d’alerte est-il fixé ?
Le seuil de la famille des ancres tient compte du risque accepté pour le juge et du nombre de critères surveillés dans chaque sens de variation.
Dans la prépublication de Li du 13 juin 2026, chaque critère des ancres est testé vers le haut et vers le bas. Si R désigne le nombre de critères et α le risque alloué à cette famille, le seuil commun est 2R/α. L’alerte survient dès qu’un des processus atteint ce seuil. Le facteur 2 correspond aux deux directions ; le partage entre les couples critère-direction suit une allocation de Bonferroni.
Le contrôle combine ainsi une propriété valable dans le temps pour chaque processus et une répartition du risque entre processus. Li prévoit des budgets de risque distincts pour la surveillance du système et celle du juge. Sous l’absence de toute dérive et les hypothèses respectives, la probabilité d’une alerte quelconque est bornée par la somme de ces budgets.
La documentation officielle de statsmodels, sans date de publication affichée, décrit multipletests comme une fonction de correction de valeurs p pour des tests multiples. Elle propose notamment Bonferroni, Holm et des méthodes de contrôle du taux de fausses découvertes. La proximité de vocabulaire appelle une distinction de procédure : corriger une liste de tests ne suffit pas à établir la validité d’un arrêt décidé au fil des résultats.
| Objet à contrôler | Élément du protocole |
|---|---|
| Consultations successives des résultats | Construction séquentielle valide dans le temps |
| Plusieurs critères et directions | Répartition du risque entre les processus |
| Attribution au système ou au juge | Comparaison des alertes avec une fenêtre de garde |
Cette lecture du dispositif de Li conduit à documenter chaque objet séparément, afin que le seuil affiché ait une signification vérifiable.
5. Quelles hypothèses limitent la garantie ?
La garantie dépend de la construction du processus, de la stabilité conditionnelle des écarts et de la pertinence des références humaines.
Dans la prépublication de Li, juin 2026, les ancres sont fixées avant le suivi et exclues de la calibration du processus principal. Leur référence initiale est calculée sur l’ensemble du corpus fixe. Cette définition doit être conservée lors d’une transposition ; remplacer la référence par une estimation différente exige de réexaminer la justification statistique.
La pertinence métier des notes humaines est une autre condition. Si le sens d’un critère évolue, l’écart observé peut traduire l’obsolescence de la référence. Li indique qu’un renouvellement des ancres et de leurs annotations rétablit une référence adaptée. Il signale aussi une sensibilité réduite aux changements du juge limités à un thème, puisque la famille des ancres regroupe les thèmes.
Enfin, l’attribution comporte une attente appelée fenêtre de garde. Lorsque le processus principal alerte avant les ancres, le dispositif attend pendant un délai fixé à l’avance, mesuré en positions dans le flux, avant de retenir un verdict visant le système. Si les ancres réagissent trop tard, ce verdict peut imputer au système une dérive provenant du juge. Si les ancres ont déjà alerté ou alertent avant la fin de ce délai, le verdict retient le juge : la méthode suspend alors la confiance dans l’alerte principale, sans attribuer simultanément les deux dérives.
La preuve conditionnelle et les expériences de l’auteur portent donc des informations différentes. La première encadre les fausses alertes ; les secondes renseignent la détection et l’attribution dans les configurations testées.
6. Que doit documenter une équipe de surveillance ?
Une équipe doit conserver de quoi reconstituer la règle d’alerte, les observations utilisées et le raisonnement d’attribution.
À partir des conditions décrites par Li en juin 2026, nous recommandons le dossier de méthode suivant pour préparer une transposition :
- Référence : critères, corpus d’ancres, annotations humaines, scores initiaux et date de tout renouvellement.
- Construction statistique : hypothèse testée, transformation des écarts, bornes des coefficients et informations disponibles avant chaque mise à jour.
- Règle de décision : risques alloués, seuils, rythme de réévaluation des ancres, règle d’arrêt et fenêtre de garde.
- Trace d’alerte : version du juge, consignes de notation, observations successives, premiers franchissements et verdict retenu.
Ce dossier est une proposition de mise en œuvre du cabinet. Son examen doit notamment permettre de vérifier qu’un changement de corpus ou de consigne reste compatible avec le protocole validé. Toute modification de la référence appelle une décision explicite sur la poursuite du suivi.
L’article Dérive du système ou du juge LLM : utiliser des références humaines fixes complète ce sujet. Pour l’ancrage TW3, les limites exposées par Gibert, Despujols et Rochet en septembre 2026 restent applicables : les tests sont exploratoires et l’accord entre juges ne démontre ni exactitude ni acceptabilité professionnelle. Une proposition de surveillance issue de cette lecture reste à valider sur le périmètre choisi.
FAQ
Peut-on répéter chaque jour un test prévu pour une seule analyse ?
La répétition demande une justification statistique adaptée à la règle d’arrêt. Li montre pourquoi un seuil fixé pour une analyse ne fournit pas, à lui seul, le contrôle requis lorsqu’on s’arrête au premier résultat défavorable.
Un e-processus représente-t-il une note moyenne ?
Il accumule des éléments contre une hypothèse par multiplication de facteurs. Dans le dispositif décrit, sa validité dépend notamment de leur non-négativité et du choix des coefficients à partir du passé.
Comment le risque d’alerte est-il réparti ?
Li le répartit entre les critères et les directions surveillés sur les ancres. Le système et le juge disposent de budgets de risque distincts, qui doivent apparaître dans le protocole.
Une garantie séquentielle assure-t-elle une détection rapide ?
Elle encadre les fausses alertes sous les hypothèses annoncées. La rapidité de détection dépend du changement recherché et des paramètres de surveillance ; elle doit être évaluée séparément.
Que faut-il archiver avec une alerte ?
Conservez les observations, les références et les paramètres permettant de refaire le calcul. Ajoutez les versions et consignes du juge, puis les moments de franchissement qui expliquent l’attribution retenue.
Pour aller plus loin
- Comparer de nombreuses variantes d’IA : maîtriser les tests multiples
- Dérive du système ou du juge LLM : utiliser des références humaines fixes
- Benchmark saturé : quand renouveler les tâches d’évaluation d’un agent ?
Sources
- Yitao Li, Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines, prépublication déposée sur arXiv le 13 juin 2026. Notice et texte intégral consultés le 9 octobre 2026.
- Ludovic Gibert, Matis Despujols et André-Louis Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026. Notice, texte intégral et PDF consultés le 9 octobre 2026.
- statsmodels, documentation officielle de multipletests, sans date de publication affichée, consultée le 9 octobre 2026.