Bootstrap apparié : construire un intervalle sur le gain d’un système d’IA

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 8 novembre 2026.

En bref

Pour apprécier un gain entre systèmes d’IA, on peut recalculer leur écart moyen sur des tirages des tâches évaluées, en gardant ensemble les résultats correspondants. Cette méthode, appelée bootstrap apparié, produit une plage d’incertitude autour du gain observé. La documentation SciPy, sans date de publication affichée, décrit ce tirage avec remise, qui permet de sélectionner plusieurs fois une même tâche. La prépublication de Gibert, Despujols et Rochet, déposée sur arXiv le 30 septembre 2026, présente des intervalles calculés sur 17 livrables de développement. Ses résultats détaillés restent exploratoires, notamment parce que plusieurs documents sont notés dans une même session. Pour décider d’une évolution du système, il faut donc examiner le gain avec son intervalle, l’unité tirée au sort et les limites du corpus.

1. Quelle statistique veut-on entourer d’un intervalle ?

L’objet du calcul est le gain moyen du système candidat par rapport au système de référence sur les mêmes tâches. Le gain moyen apparié désigne la moyenne des différences de scores calculées tâche par tâche. Fixer le sens de cette soustraction et l’échelle de notation permet de savoir ce qu’exprime une valeur positive.

Dans sa prépublication déposée sur arXiv le 1er novembre 2024, Evan Miller propose de considérer les questions évaluées comme un échantillon d’une population plus large de questions. Son analyse des comparaisons appariées porte sur la moyenne des différences individuelles. L’incertitude recherchée concerne donc l’estimation de cette moyenne. La dispersion des notes d’un document particulier répond à une autre question.

Pour une évaluation interne, TW3 recommande de décrire la population visée avant le calcul : types de tâches, conditions d’exécution et règles de notation. Conservez également les critères d’inclusion des tâches et le traitement des notes manquantes. Cette fiche de cadrage rend explicite le périmètre auquel la décision devra s’appliquer.

Le bootstrap constitue une méthode possible pour construire l’intervalle. Miller estime qu’une approximation analytique suffit lorsque les questions sont tirées indépendamment, leur nombre est grand, la variance finie et le schéma d’échantillonnage comme l’estimateur peu complexes. Le choix de rééchantillonner doit ainsi correspondre au problème posé ; il ne dispense jamais de définir le gain.

2. Pourquoi conserver les paires pendant le tirage ?

Conserver les paires maintient le lien entre les scores obtenus sur une même tâche. Dans la documentation SciPy, le paramètre paired=True demande de tirer un tableau d’indices, puis d’appliquer ces mêmes indices à chaque série de données. Si une tâche revient dans le tirage, les résultats du candidat et de la référence reviennent ensemble.

Avec paired=False, SciPy rééchantillonne chaque série indépendamment. La correspondance entre résultats d’une même tâche disparaît alors du tirage. Or Miller, dans son texte de novembre 2024, explique l’intérêt de cette correspondance : lorsque les systèmes tendent à trouver les mêmes questions faciles ou difficiles, l’analyse des différences peut réduire la variance de l’estimation.

Avant d’appeler la fonction, il est utile de contrôler l’alignement des séries à partir d’un identifiant de tâche. Un tri différent des fichiers suffirait à associer des résultats qui ne concernent pas le même objet. Prévoyez donc une table commune portant l’identifiant et les scores de chaque système, puis vérifiez les paires disponibles selon la règle d’inclusion retenue.

Cette préparation est une proposition de méthode du cabinet. Elle permet de relire ce qui entre dans le calcul : une ligne représente une comparaison complète, avec une échelle et une convention de signe connues.

3. Comment se déroule un rééchantillonnage ?

Chaque tirage reconstitue un échantillon de même taille à partir des observations disponibles, puis recalcule le gain. La procédure documentée par SciPy prélève les observations avec remise : certaines peuvent apparaître plusieurs fois et d’autres être absentes d’un tirage donné.

Le schéma d’opérations est le suivant :

Paires de scores alignées → tirage commun des indices avec remise → moyenne des différences sélectionnées → conservation du gain obtenu → nouveau tirage.

La collection des gains ainsi calculés forme la distribution bootstrap. Elle décrit la variation de la statistique lorsqu’on rééchantillonne les observations disponibles. SciPy expose cette collection dans bootstrap_distribution ; son attribut standard_error correspond à l’écart-type de cette distribution. La méthode choisie transforme ensuite cette distribution en bornes d’intervalle.

Cette opération réutilise les scores déjà recueillis. Dans la section consacrée au rééchantillonnage chez Miller, le même mot désigne une autre opération : demander plusieurs réponses au modèle pour chaque question et travailler sur leur moyenne. Il convient de distinguer ces répétitions de génération des tirages bootstrap, car leur objet diffère.

Pour conserver une trace exploitable, archivez la table utilisée, la définition du gain et les paramètres du calcul. La prépublication TW3 du 30 septembre 2026 indique 4 000 rééchantillonnages de documents pour ses intervalles bootstrap. Ce nombre décrit la procédure de cette étude ; il ne constitue pas un effectif supplémentaire de tâches observées.

4. Percentile, basic ou BCa : que choisit-on ?

Ces options changent la construction des bornes de l’intervalle à partir de la distribution bootstrap. La documentation SciPy propose les méthodes suivantes, avec BCa comme valeur par défaut.

Le niveau de confiance exprime une propriété de couverture de la procédure. SciPy l’explique par des répétitions du prélèvement initial : sous les hypothèses de l’échantillonnage, les intervalles obtenus contiennent la vraie valeur de la statistique dans une proportion approximativement égale au niveau choisi. Cette interprétation suppose que le prélèvement représente bien la population étudiée.

Pour un protocole interne, arrêtez la méthode avant d’examiner les conclusions qu’elle produit. Consignez method, confidence_level, n_resamples et le générateur aléatoire rng. SciPy précise que renseigner ce dernier permet un comportement reproductible ; conserver aussi les données et l’environnement de calcul facilite la reprise du travail.

La documentation permet également de réutiliser une distribution déjà calculée pour comparer des méthodes d’intervalle. Cette comparaison peut servir de diagnostic, à présenter avec le choix principal.

5. Quels signaux rendent l’intervalle fragile ?

Une distribution sans variation, un corpus limité et des observations dépendantes demandent une lecture prudente de l’intervalle. La documentation SciPy signale qu’une distribution bootstrap dégénérée, notamment lorsque toutes ses valeurs sont identiques, peut produire une alerte avec BCa et des bornes non calculables. Elle invite alors à inspecter les données et à envisager une autre méthode ou une autre analyse.

Un grand nombre de tirages réutilise toujours le corpus initial. Il enrichit la distribution simulée sans ajouter de tâches observées. Pour élargir la base empirique, il faut recueillir d’autres observations ; répéter le calcul sur les mêmes lignes répond à un besoin de calcul distinct.

La dépendance demande un examen séparé. Dans l’étude TW3, les auteurs indiquent que les intervalles calculés au niveau des documents ignorent la dépendance entre documents notés dans une même session. Ils qualifient les tests d’exploratoires et soulignent les limites du dispositif pour obtenir des estimations stables de la variabilité. Son annexe méthodologique distingue aussi les répétitions à regroupement fixe des sessions dont le regroupement et l’ordre changent.

Pour une nouvelle évaluation, conservez l’identifiant de session à côté de celui du document et examinez le niveau auquel les observations peuvent être considérées comme indépendantes. La fiche Documents notés dans une même session : corriger l’illusion d’un grand échantillon est consacrée à cette question. Cette précaution de conception reste distincte du bootstrap de documents effectivement rapporté par l’étude.

6. Comment publier le résultat avec ses limites ?

Présentez ensemble la comparaison, l’échelle, le gain, son intervalle et le nombre de tâches. Le tableau de résultats textuels de Gibert, Despujols et Rochet, septembre 2026, illustre cette restitution.

Dans la passe sur textes nettoyés des marqueurs de gabarit, Claude Sonnet attribue au système complet un gain moyen de 33,6 points, avec un intervalle bootstrap à 95 % de [30,1 ; 37,2], face au même modèle générant directement à partir d’une consigne courte. Les textes du système complet obtiennent une note supérieure sur les 17 livrables de développement. L’échelle porte sur 95 points, la qualité visuelle étant exclue de cette passe. Le niveau de confiance et le maximum de la grille expriment ici des notions différentes.

Les livrables sont des exercices construits à partir d’informations publiques. Les versions d’un même livrable sont notées dans la même session. Le résultat décrit un gain de notation dans ce protocole. Il reste soumis à la réserve sur la dépendance entre documents et ne démontre pas à lui seul une amélioration de la qualité professionnelle.

Pour vos propres comptes rendus, ajoutez à cette présentation l’unité rééchantillonnée, la méthode de construction des bornes, le nombre de tirages et les paramètres reproductibles. Indiquez aussi les exclusions et le périmètre de généralisation retenu. Cette proposition de restitution permet au responsable de validation de rapprocher le gain de l’amélioration attendue pour la décision, tout en gardant visibles les hypothèses qui portent l’intervalle.

FAQ

L’intervalle porte-t-il sur chaque document ?
Il porte ici sur la moyenne des différences entre systèmes. La variation d’une note individuelle constitue une autre quantité ; le choix de la statistique doit donc précéder le calcul.

Pourquoi tirer les mêmes indices pour les systèmes ?
Le tirage commun conserve l’association des résultats d’une même tâche. C’est le comportement demandé par paired=True dans SciPy, qui maintient cette correspondance à chaque répétition.

La méthode BCa est-elle celle du papier TW3 ?
La prépublication de Gibert, Despujols et Rochet décrit un bootstrap de documents sans préciser la méthode de construction des bornes. BCa figure ici parmi les options documentées par SciPy ; consignez explicitement votre choix pour toute nouvelle évaluation.

Plus de tirages compensent-ils un petit corpus ?
Les tirages supplémentaires prélèvent encore dans les mêmes observations. Le choix du nombre de tâches demande une réflexion sur l’évaluation elle-même ; la fiche Combien de tâches faut-il pour comparer deux systèmes d’IA ? traite cette question.

Que faut-il publier avec l’intervalle ?
Donnez le gain moyen, l’échelle, le niveau de confiance et les bornes, avec l’effectif et le périmètre des tâches. Documentez l’unité rééchantillonnée et les paramètres du calcul, puis exposez les dépendances ou exclusions qui en limitent l’interprétation.

Pour aller plus loin

• Documents notés dans une même session : corriger l’illusion d’un grand échantillon
• Combien de tâches faut-il pour comparer deux systèmes d’IA ?
• Deux systèmes d’IA sont-ils équivalents quand l’écart est non significatif ?

Sources

• Gibert, Despujols et Rochet, Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking, prépublication déposée sur arXiv le 30 septembre 2026, texte intégral, consulté le 9 octobre 2026.
• Evan Miller, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations, prépublication déposée sur arXiv le 1er novembre 2024, texte intégral, consulté le 9 octobre 2026.
• SciPy, documentation de scipy.stats.bootstrap, sans date de publication affichée, consultée le 9 octobre 2026.