Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 4 novembre 2026.
En bref
L’analyse de sensibilité vérifie si une décision fondée sur un score résiste aux changements de données et de règles de calcul. Un score composite rassemble plusieurs mesures en une seule valeur. Le guide de l’OCDE et du Centre commun de recherche de la Commission européenne, publié en 2008, invite à examiner notamment le choix des mesures, leurs poids et la manière de les combiner. Pour un dirigeant, l’enjeu est de savoir quels choix peuvent faire changer la décision. Une faible variation du score renseigne sur sa stabilité dans les conditions examinées ; la pertinence de ce qu’il mesure reste à justifier.
1. Quel résultat faut-il observer ?
L’analyse doit porter sur un résultat lié à la décision que le score doit éclairer. Le guide de l’OCDE de 2008 demande de définir cette sortie avant de choisir les variations à étudier. L’analyse d’incertitude décrit comment les incertitudes d’entrée affectent le résultat ; l’analyse de sensibilité cherche à attribuer ses variations aux hypothèses et aux informations utilisées.
Nous recommandons de commencer le dossier par la propriété recherchée et par l’usage prévu du score. Précisez ensuite ce qui doit rester suffisamment stable pour cet usage : sa valeur, l’ordre des éléments évalués ou la décision prise à partir d’un seuil. Ces sorties constituent des objets d’examen distincts. Choisissez celle qui permettra au responsable métier de juger les conséquences d’une variation.
Dans une équipe d’apprentissage automatique, il est utile de séparer le score produit par le modèle de la mesure utilisée pour évaluer ce modèle. Le protocole proposé ici demande de nommer les deux, avec leur unité et leur règle de calcul. Il devient alors possible de préciser ce qu’une courbe de sensibilité représente et le critère qui autorisera l’usage du score.
2. Comment faire varier les données sans fausser l’évaluation ?
Pour un score appris, chaque nouveau partage des données doit permettre de distinguer l’ajustement du modèle et son évaluation. La documentation de scikit-learn sur la validation croisée, relevée le 9 octobre 2026, explique le risque de surapprentissage : un modèle peut bien répondre sur les données déjà vues et échouer sur de nouvelles observations.
La validation croisée consiste à répéter l’apprentissage sur une partie des données et l’évaluation sur une autre. Les réglages choisis avant l’ajustement, appelés hyperparamètres, doivent être sélectionnés sans utiliser le jeu réservé à l’évaluation finale. La documentation avertit qu’en retouchant ces réglages pour améliorer les résultats sur le test, on fait entrer de l’information du test dans le modèle.
Pour examiner la sensibilité au partage, conservez les identifiants des observations affectées à chaque partie et réexécutez la procédure d’apprentissage annoncée. Présentez la dispersion des résultats avec le périmètre du corpus. Dans notre trame de revue, cette dispersion répond à une question précise : la conclusion dépend-elle fortement de l’affectation des observations ?
Le partage doit aussi respecter la structure des données. Scikit-learn décrit des découpages par groupes pour séparer les observations de mêmes sujets et des découpages temporels pour évaluer sur des observations futures. Choisissez le découpage en fonction de l’usage attendu, puis documentez sa justification avant d’interpréter la courbe.
3. Que faut-il fixer lorsqu’on perturbe les poids ?
Une expérience sur les poids doit préciser si elle examine une pondération déjà retenue ou une procédure qui apprend une nouvelle pondération. Le guide de l’OCDE de 2008 propose d’examiner différents systèmes de pondération ainsi que différentes valeurs plausibles des poids. Il rattache le choix des hypothèses à l’application étudiée.
Pour une revue de score pondéré, nous recommandons de distinguer les expériences suivantes. Ce tableau constitue une trame de méthode, à adapter au modèle.
| Question étudiée | Ce qui varie | Ce qui reste fixe | Opération à annoncer |
|---|---|---|---|
| Sensibilité de la solution retenue | Poids autour de la référence | Données et transformation | Recalcul du score avec les poids perturbés |
| Sensibilité de l’apprentissage | Réglage imposé à l’ajustement | Données et critère d’évaluation | Nouvel ajustement des poids |
| Sensibilité au choix de construction | Transformation ou combinaison des mesures | Protocole d’évaluation | Recalcul ou réajustement selon la question |
Dans le premier cas, consignez la pondération initiale et la règle de perturbation. Si le modèle impose une somme des poids constante, précisez comment cette contrainte est rétablie après chaque modification. La renormalisation, qui ramène les poids à cette somme, fait partie de l’expérience et doit apparaître dans le dossier.
Pour le second cas, archivez la pondération obtenue à chaque ajustement. Cela donne au relecteur les éléments nécessaires pour séparer un changement de réglage d’un changement de solution. Les plages de variation doivent être justifiées par les choix réellement envisageables dans le projet.
4. Pourquoi tester la régularisation et les transformations ?
Ces choix font partie de la construction du modèle et méritent une expérience explicitement décrite. La régularisation ajoute une pénalité à l’objectif d’apprentissage. Dans la documentation de la régression Ridge de scikit-learn, relevée le 9 octobre 2026, cette pénalité porte sur la taille des coefficients ; son multiplicateur règle sa force.
Pour étudier ce réglage, fixez les données et réajustez le modèle pour chaque valeur retenue. Conservez la mesure d’évaluation ainsi que les coefficients obtenus. Si l’exploration sert à choisir un réglage, utilisez les données de validation prévues à cette fin ; réservez l’évaluation finale au protocole défini auparavant.
Les transformations des mesures demandent une précaution supplémentaire. La documentation scikit-learn sur les erreurs courantes, relevée le 9 octobre 2026, indique que leurs paramètres doivent être appris uniquement sur les données d’entraînement. La même transformation est ensuite appliquée aux données de test. Elle recommande les chaînes de traitement, ou pipelines, pour appliquer chaque opération à la bonne partie des données.
Dans la trame proposée, décrivez chaque transformation candidate, ses paramètres appris et les éléments recalculés après son changement. Une transformation fixée par convention et une transformation ajustée sur les données appellent des descriptions différentes. Pour chaque variante, le dossier doit permettre de retrouver la chaîne complète qui conduit des mesures au score final.
5. Quand examiner plusieurs choix ensemble ?
Une revue peut compléter les variations ciblées par une exploration conjointe des hypothèses. Le guide de l’OCDE de 2008 décrit une expérience de Monte Carlo, c’est-à-dire une simulation par tirages répétés, qui explore simultanément les sources d’incertitude pour examiner leurs interactions.
Dans notre proposition de protocole, commencez par les variations ciblées pour comprendre chaque opération de calcul. Sélectionnez ensuite les combinaisons plausibles au regard du domaine d’emploi et expliquez ce choix. Consignez les règles de tirage et les contraintes qui rendent une combinaison admissible.
Pour la restitution, associez chaque résultat à sa configuration complète. Signalez les combinaisons qui changent la décision et les hypothèses auxquelles elles correspondent. Cette lecture aide à formuler la conclusion au bon niveau : une stabilité dans les conditions explorées, accompagnée de leur périmètre. Le guide rappelle également qu’un cadre théorique solide reste nécessaire pour justifier l’indicateur.
6. Que montre le cas Scoring Without the Engine ?
Ce cas illustre la distinction entre perturbation d’une solution et réajustement. Dans leur prépublication Scoring Without the Engine, déposée sur arXiv le 7 septembre 2026, Bajemon et Rochet étudient un score de contenu. Leur coefficient de Pearson compare les réponses moyennes du score à des modifications de texte avec des effets historiques de référence, appelés ancres.
Le code de TW3-Partners-OS relevé le 9 octobre 2026 et le rapport de robustesse associé, relevé à la même date distinguent les expériences suivantes. Les résultats chiffrés du tableau proviennent de ce rapport.
| Expérience | Réajustement et évaluation | Pearson d’alignement |
|---|---|---|
| Dix nouveaux partages | Poids réajustés avec sélection interne de la régularisation ; test propre à chaque partage | De 0,934 à 0,972 ; moyenne 0,951 |
| 200 perturbations des poids de ±10 % avant renormalisation | Aucun nouvel ajustement ; même test de référence | Minimum 0,929 ; cinquième centile 0,935 ; médiane 0,949 |
| Régularisation : 0,05 ; 0,15 ; 0,4 ; 0,8 ; 1,5 ; 3,0 | Poids réajustés ; transformation et partage fixes | De 0,927 à 0,949 |
| Exposants : 0,4 ; 0,45 ; 0,5 ; 0,6 ; 0,75 ; 1,0 | Poids et régularisation réajustés ; partage fixe | De 0,942 à 0,956 |
Dans la perturbation des poids, le code applique indépendamment un facteur uniforme entre 0,90 et 1,10, puis ramène leur somme à un. Les essais portent sur le voisinage de la pondération retenue.
Le contrôle négatif mesure la différence moyenne de score entre le bourrage de mots-clés et un ajout neutre à dose égale. À dose 8, il reste négatif sur les dix partages ; son maximum sur les perturbations vaut -9,16 points. Pour les exposants, il passe de -8,87 à -12,63 points en allant vers la transformation linéaire. Ces valeurs concernent des moyennes, sans garantie document par document.
Cette stabilité décrit les expériences testées : l’alignement sur les ancres historiques ne démontre aucune efficacité actuelle dans les moteurs de réponse et ne permet pas de prédire les citations. Le README du dépôt, relevé le 9 octobre 2026, fournit les captures et les commandes de reproduction ; le moteur qui produit les sous-mesures est absent. Le NOTICE de la même version distingue le code sous MIT des données sous CC BY-NC-SA 4.0, dont l’usage commercial demande l’autorisation des auteurs de GEO-Bench.
7. Que remettre à la direction avant de retenir le score ?
Le dossier doit relier les variations observées aux conditions d’usage acceptables. Le guide de l’OCDE de 2008 demande d’identifier les sources d’incertitude, d’en évaluer les effets et de documenter l’analyse. Nous recommandons de traduire ces exigences dans un dossier comprenant :
- La propriété mesurée et la décision envisagée, avec leurs critères d’acceptation.
- Les hypothèses explorées et la justification des plages retenues.
- Les données utilisées, leurs partages et les opérations de réajustement.
- Les résultats par configuration et les cas qui modifient la décision.
- Les versions du code et des données nécessaires à la reproduction.
Rédigez la conclusion en reprenant les conditions dans lesquelles le score peut être utilisé. Pour les configurations qui font changer la décision, indiquez l’hypothèse à arbitrer et la personne responsable de cet arbitrage. Cette proposition de restitution vise à rendre la revue exploitable par la direction et par l’équipe data.
FAQ
Faut-il réentraîner le modèle à chaque perturbation ?
Le protocole doit le préciser avant le calcul. Pour éprouver une pondération existante, faites varier ses poids et recalculez la sortie ; pour éprouver une procédure d’apprentissage, répétez l’ajustement prévu.
Une faible variation suffit-elle à valider le score ?
Elle renseigne sur la stabilité dans les conditions testées. Le guide de l’OCDE de 2008 demande aussi un cadre théorique solide pour justifier l’indicateur.
Peut-on choisir les réglages sur le jeu de test ?
La documentation scikit-learn relevée le 9 octobre 2026 avertit que ce choix fait entrer de l’information du test dans le modèle. Prévoyez une validation pour les réglages et gardez l’évaluation finale séparée.
Faut-il seulement faire varier les poids ?
Le guide de l’OCDE de 2008 examine aussi le choix des indicateurs, leur normalisation et leur agrégation. Retenez les hypothèses pertinentes pour le domaine d’emploi et justifiez leur sélection.
Comment présenter les résultats au responsable métier ?
Reliez chaque variation à son effet sur la décision prévue. Joignez les configurations concernées et les critères d’acceptation pour que la conclusion puisse être discutée sur des éléments vérifiables.
Pour aller plus loin
- Valider un indicateur bon marché qui remplace une mesure coûteuse : le protocole de Scoring Without the Engine
- Trois erreurs trouvées et corrigées avant publication : l’audit interne d’un papier de recherche appliquée
- Test de permutation sur petit échantillon : comprendre la limite d’une valeur p
- F1, NDCG : vérifier ce que calcule réellement une métrique
Sources
Bajemon et Rochet, TW3 Partners, Scoring Without the Engine: Validating a Deterministic, Manipulation-Resistant Content Score for Generative Engines, End to End, prépublication déposée sur arXiv le 7 septembre 2026, consulté le 9 octobre 2026.
Bajemon et Rochet, Scoring Without the Engine, texte intégral PDF de la même version, daté de juillet 2026, consulté le 9 octobre 2026.
TW3-Partners-OS, code des analyses de robustesse, version du dépôt relevée le 9 octobre 2026, consulté le 9 octobre 2026.
TW3-Partners-OS, rapport corrigé des analyses de robustesse, même version, consulté le 9 octobre 2026.
TW3-Partners-OS, README du dépôt, même version, consulté le 9 octobre 2026.
TW3-Partners-OS, NOTICE du dépôt, même version, consulté le 9 octobre 2026.
OCDE et Centre commun de recherche de la Commission européenne, Handbook on Constructing Composite Indicators: Methodology and User Guide, 2008, consulté le 9 octobre 2026.
scikit-learn, documentation de la validation croisée, relevé du 9 octobre 2026, consulté le 9 octobre 2026.
scikit-learn, erreurs courantes et pratiques recommandées, relevé du 9 octobre 2026, consulté le 9 octobre 2026.
scikit-learn, documentation de la régression Ridge, relevé du 9 octobre 2026, consulté le 9 octobre 2026.