Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 13 novembre 2026.
En bref
Un poids est identifiable si les observations disponibles imposent sa valeur parmi toutes les valeurs possibles dans le modèle retenu. Calculer une valeur et retrouver régulièrement cette valeur ne suffisent donc pas à établir qu’elle est la seule compatible avec les observations. Pour une direction qui valide un score combinant plusieurs indicateurs, cette distinction détermine ce qu’elle peut justifier auprès des utilisateurs. Dans Scoring Without the Engine, prépublication TW3 déposée sur arXiv le 7 septembre 2026, l’analyse porte sur 11 poids confrontés à 5 interventions de référence. Ce cas sert ici à illustrer une méthode générale d’examen des poids d’un score composite. La méthode consiste à fixer successivement un poids, à réajuster les autres, puis à vérifier les résultats sur des données réservées à l’évaluation. Le dossier de validation distingue les poids étayés par les observations, ceux encadrés par les tests de comportement et ceux dont la valeur dépend de poids choisis auparavant.
1. Qu’est-ce qu’un poids identifiable ?
Un poids est identifiable lorsque l’information disponible permet de le distinguer des autres valeurs possibles, dans le modèle retenu. L’estimation désigne le calcul d’une valeur à partir de données et d’un objectif. La stabilité numérique décrit sa sensibilité aux conditions du calcul. Ces questions doivent être examinées séparément : un algorithme peut sélectionner régulièrement une même solution au sein d’un ensemble de solutions compatibles.
L’annexe D de la prépublication TW3 du 7 septembre 2026 décrit précisément un tel ensemble. Certaines modifications des poids laissent inchangée la réponse du modèle aux interventions de référence. Une procédure déterministe peut choisir un point de cet ensemble ; son caractère reproductible ne démontre pas que les observations imposent ce point. Une pénalité rapprochant les poids d’une référence antérieure peut également participer à ce choix.
Pour la validation métier, il faut aussi définir ce que les indicateurs sont censés représenter. Dans Measurement and Fairness, version révisée sur arXiv le 12 mars 2021, Jacobs et Wallach distinguent la notion que l’on cherche à mesurer de sa traduction en variables observables. Ils séparent la fiabilité, qui concerne la répétabilité des mesures, de leur validité, qui concerne leur sens et leur utilité. Nous recommandons de conserver cette distinction dans le dossier de validation : justifier une pondération suppose d’expliciter le phénomène mesuré et les observations qui départagent ses valeurs possibles.
2. Pourquoi le nombre de contraintes compte-t-il ?
Ce qui contraint les poids est l’information indépendante apportée par les observations et les règles du modèle. Dans la proposition 2 de l’annexe D, TW3, 7 septembre 2026, une matrice de réponse rassemble les variations des indicateurs sous les interventions testées. Multiplier cette matrice par le vecteur des poids donne la réponse pondérée utilisée pour l’ajustement.
Le noyau de cette matrice désigne les changements de poids qui laissent cette réponse inchangée. Si une modification appartient au noyau, elle conserve donc aussi l’objectif d’alignement étudié. La proposition exige toutefois que la nouvelle pondération reste admissible. Les poids appartiennent ici à un simplexe : ils sont non négatifs et leur somme vaut un.
Avec 11 poids et 5 lignes de réponse, le noyau a une dimension d’au moins 6, d’après cette proposition. Cette borne décrit l’espace des changements invisibles à la matrice. L’ensemble effectivement admissible résulte ensuite de son intersection, autour de la solution, avec les contraintes du simplexe. Sa dimension ne se déduit donc pas directement de celle du noyau ; la somme imposée et les poids arrivés à une borne comptent aussi.
Pour examiner un dossier, il est utile de demander quelles interventions apportent des réponses indépendantes. Cette lecture découle du rôle du rang de la matrice dans la démonstration. Elle précise la question à résoudre avant de décider de collecter davantage d’observations du même type.
3. Comment construire un profil de poids ?
Un profil de poids évalue les solutions obtenues lorsque ce coefficient est fixé successivement à différentes valeurs et que les autres sont réajustés. L’annexe D de TW3, datée du 7 septembre 2026, effectue ce réajustement sur la partie des données consacrée à l’entraînement. La recevabilité de chaque solution est ensuite examinée sur la partie réservée à l’évaluation.
Le protocole retient une valeur lorsque la corrélation de Pearson avec les réponses de référence atteint au moins 0,94 et que les cinq tests de comportement sont satisfaits. La corrélation mesure ici l’accord entre les réponses du score aux interventions et les réponses de référence. Ce seuil et ces tests appartiennent au protocole étudié. Pour adapter la méthode à un autre score, TW3 recommande de définir les exigences de validation correspondant à son usage et de les consigner avant de lire les profils.
La différence avec une perturbation directe tient au réajustement. Modifier un poids en maintenant les autres fixes mesure l’effet de ce changement sur une solution donnée. Le profil cherche jusqu’où les autres coefficients peuvent compenser ce changement tout en respectant le protocole. Le retrait complet d’un indicateur, suivi d’un réajustement, constitue également une vérification de sa nécessité dans l’annexe.
Le résultat est un ensemble de valeurs admissibles au regard d’une règle explicite. Il ne constitue pas un intervalle de confiance statistique : aucune probabilité de couverture n’est attachée à cette règle. Pour rendre le calcul relisible, conserver la grille testée, les résultats de chaque réajustement et le motif de rejet éventuel constitue une adaptation de méthode utile.
4. Comment lire une courbe plate ou étroite ?
Une plage admissible étroite indique que le protocole restreint fortement un coefficient parmi les valeurs testées. Une courbe plate décrit un alignement qui varie peu ; l’admissibilité dépend aussi du seuil d’alignement et des tests de comportement. La figure 5 de TW3, 7 septembre 2026, représente l’alignement obtenu après réajustement et distingue les points qui satisfont tous les tests de ceux qui échouent à au moins un test. Il faut lire ces informations ensemble.
Le tableau suivant synthétise les distinctions de cette figure et du tableau 3, sans transposer les valeurs du score étudié à un autre usage.
| Lecture du profil | Ce que le protocole permet de soutenir |
|---|---|
| Fenêtre admissible étroite | Le poids est fortement encadré dans les conditions testées. |
| Points acceptés jusqu’à une borne supérieure | Le protocole borne les valeurs acceptées sur la grille explorée. |
| Plateau admissible au-dessus d’une borne inférieure | Dans la grille testée, une contribution minimale est requise ; sa valeur exacte reste moins contrainte. |
| Large plage admissible | Les observations et les tests départagent peu les valeurs explorées. |
La résolution de la grille limite la précision de cette lecture. Le tableau rapporte les valeurs extrêmes acceptées parmi les points essayés. Il faut donc éviter de traiter ses bornes comme des frontières continues connues avec une précision supérieure au pas de calcul.
La prépublication distingue aussi la pondération diffusée et le nouvel ajustement de référence employé pour les profils. Pour lire un écart apparent, comparer les valeurs exige de conserver leur contexte : version de la pondération, réajustement effectué et validation du vecteur complet. Une valeur isolée perd une partie de son sens lorsqu’on la détache des coefficients qui l’accompagnent.
5. Pourquoi les intervalles ne forment-ils pas une boîte ?
Les plages admissibles de chaque coefficient ne rendent pas toutes leurs combinaisons admissibles. L’annexe D de TW3, 7 septembre 2026, l’explique : chaque intervalle provient d’une exploration coordonnée par coordonnée, avec réajustement des autres poids. Les valeurs qui rendent une extrémité acceptable peuvent différer de celles nécessaires pour accepter l’extrémité d’un autre intervalle.
La représentation conceptuelle pertinente est celle d’un ensemble de vecteurs complets satisfaisant simultanément les exigences. Les intervalles en donnent des vues partielles. Les assembler librement pourrait enfreindre les contraintes portant sur la somme des poids, l’alignement recherché ou les tests. La décision de validation doit donc porter sur une pondération complète effectivement évaluée.
Le Handbook on Constructing Composite Indicators de l’OCDE et du JRC de la Commission européenne, 2008, apporte un autre éclairage sur les dépendances entre indicateurs. Il demande de considérer leur corrélation et les compensations autorisées par l’agrégation. Il souligne aussi que le double comptage doit être examiné à partir du contenu des indicateurs et du phénomène mesuré, en complément de l’analyse statistique.
Pour appliquer ces principes, joindre aux profils les vecteurs réajustés correspondants permet au relecteur de retrouver les compensations réellement obtenues. Cette recommandation documentaire prolonge le protocole : elle rend vérifiable le lien entre une valeur déclarée admissible et l’ensemble des coefficients qui soutient cette déclaration.
6. Que faut-il déclarer dans une validation ?
Une validation doit préciser ce qui justifie chaque coefficient et ce qui reste ouvert dans sa plage admissible. La section consacrée à l’identifiabilité dans TW3, 7 septembre 2026, distingue les poids resserrés par les observations, les contributions requises par les tests de comportement et les valeurs largement héritées de la référence antérieure. Un coefficient peut relever de plusieurs de ces appuis.
Pour un dossier de décision, nous recommandons une fiche par coefficient comprenant sa définition, la valeur retenue, la grille explorée, les critères appliqués et les pondérations complètes ayant satisfait ces critères. Préciser le rôle de la référence antérieure permet au responsable métier de savoir quelle part du choix correspond à une convention reconduite. La date et la version du calcul permettent de rattacher cette justification à la pondération effectivement proposée.
L’analyse doit aussi orienter la prochaine collecte. L’annexe D relève que certaines dimensions ne sont pas sondées par les interventions disponibles. Une extension du protocole devrait chercher des interventions capables de distinguer les contributions encore confondues. C’est une hypothèse de travail à vérifier en examinant leurs réponses, avant de conclure que les nouvelles observations réduisent l’ensemble admissible.
Enfin, Jacobs et Wallach, dans leur version du 12 mars 2021, demandent d’expliciter et de tester les hypothèses du modèle de mesure avant d’utiliser ses résultats. Pour appliquer cette exigence, le dossier peut présenter conjointement la justification des poids et les questions de validité encore ouvertes sur le phénomène que le score doit représenter.
FAQ
Un poids stable est-il identifié ?
La stabilité indique que le calcul varie peu dans les conditions examinées. L’annexe D de TW3 montre qu’une famille de pondérations peut conserver le même objectif. Pour conclure à l’identification d’un coefficient, il faut examiner les autres valeurs compatibles avec les observations et les contraintes retenues.
Un profil est-il un intervalle de confiance ?
Le profil décrit ici les valeurs acceptées après réajustement selon un seuil d’alignement et des tests de comportement. Son interprétation dépend de cette règle et de la grille explorée. Lui attribuer une probabilité de contenir un poids véritable nécessiterait une justification statistique supplémentaire.
Peut-on combiner les bornes du tableau ?
Chaque borne a été obtenue avec un réajustement des autres coefficients. Dans l’annexe D, TW3 explique que les intervalles ne forment pas une boîte de combinaisons libres. Toute pondération composée à partir de ces bornes doit satisfaire à nouveau l’ensemble du protocole.
Plus de données suffit-il toujours ?
Des observations supplémentaires qui reproduisent les mêmes dépendances peuvent laisser le noyau de la matrice inchangé. La démonstration de TW3 relie le défaut d’identification au rang de cette matrice. L’enjeu est donc d’apporter des réponses qui départagent les contributions encore confondues, puis de vérifier ce qu’elles changent effectivement.
Que signifie un poids hérité ?
La référence antérieure contribue à sélectionner sa valeur alors que les observations autorisent une plage étendue. L’annexe D de TW3 décrit ce rôle pour plusieurs coefficients du modèle étudié. La validation doit rendre cette provenance explicite et distinguer les exigences satisfaites de la justification du choix précis dans la plage admissible.
Pour aller plus loin
- Régulariser vers une référence : quel rôle donner aux anciens poids d’un score ?
- Indicateurs redondants : repérer le double comptage dans un score composite
- Ablation de variable : supprimer, neutraliser ou réentraîner ?
Sources
- TW3 Partners, Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026. Texte intégral, section 6.4, tableau 3, figure 5 et annexe D ; consulté le 9 octobre 2026.
- Abigail Z. Jacobs et Hanna Wallach, Measurement and Fairness, prépublication déposée sur arXiv le 11 décembre 2019, version révisée le 12 mars 2021. Texte intégral, sections sur le modèle de mesure, la fiabilité et la validité ; consulté le 9 octobre 2026.
- OCDE et JRC de la Commission européenne, Handbook on Constructing Composite Indicators: Methodology and User Guide, 2008, pondération et agrégation ; consulté le 9 octobre 2026.