Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 13 novembre 2026.
En bref
Améliorer un indicateur peut dégrader le résultat recherché, même si cet indicateur lui est favorablement associé : c’est le paradoxe du substitut. Un indicateur utilisé pour représenter un résultat plus difficile à mesurer est appelé « proxy ». Dans son étude publiée dans Biometrics en septembre 2013, Tyler VanderWeele montre que ce paradoxe peut subsister même lorsque 100 % de l’effet de l’action passe par l’indicateur. Pour une direction qui envisage de piloter une activité avec une mesure intermédiaire, la décision dépend donc des chemins par lesquels son action produit ses effets. La lecture proposée distingue les hypothèses sur ces chemins des preuves obtenues pour une action donnée. Elle débouche sur un questionnaire à utiliser avant de retenir l’indicateur pour décider.
1. Qu’est-ce qu’un résultat intermédiaire ?
Un résultat intermédiaire est une mesure que l’on souhaite utiliser pour tirer une conclusion sur un résultat final plus difficile à observer. Dans Surrogate measures and consistent surrogates, Biometrics, septembre 2013, VanderWeele note A le traitement, supposé attribué aléatoirement, S le substitut proposé et Y le résultat d’intérêt. L’intérêt pratique du substitut tient notamment au coût ou au délai de suivi nécessaires pour mesurer Y.
Ces notations obligent à préciser la question. Il peut s’agir de prévoir Y à partir de S déjà observé, ou de prévoir le sens de l’effet d’une action A sur Y à partir de son effet sur S. L’article étudie cette seconde question. La validité causale d’un indicateur intermédiaire concerne ici une intervention déterminée et le résultat auquel elle doit conduire.
Utiliser S pour prévoir Y correspond à un usage pronostique. Un médiateur intervient dans le chemin causal qui relie l’action au résultat : l’action modifie le médiateur, et cette modification affecte à son tour le résultat. VanderWeele distingue précisément la relation statistique entre S et Y de l’effet causal de S sur Y.
Pour transposer cette distinction à une revue de décision, nous recommandons de nommer l’action envisagée, la mesure qui la guidera et le résultat qui justifiera son adoption. Ce cadrage évite de demander à une corrélation de répondre à une question d’intervention.
2. Comment le paradoxe est-il défini ?
Le paradoxe associe une amélioration du substitut, une relation favorable entre substitut et résultat, et un effet défavorable de l’action sur le résultat final. Dans la définition de VanderWeele, publiée en 2013, les valeurs élevées de S sont positivement associées à celles de Y, A augmente S en moyenne, mais A diminue Y en moyenne.
La convention de signe compte : il faut d’abord préciser quelle direction représente une amélioration pour chaque variable. Sous la convention positive, l’erreur consiste à déduire le sens de l’effet de A sur Y à partir du seul effet de A sur S, renforcé par la corrélation entre S et Y. Ce raisonnement peut conduire à retenir une action qui détériore la cible.
L’auteur appelle « substitut cohérent » un substitut dont les relations de signe permettent d’éviter cette inversion. La propriété porte sur la direction de l’effet. Elle ne donne à elle seule ni l’ampleur du gain attendu ni une règle de conversion entre les unités de S et celles de Y.
La décision mérite donc une formulation explicite : « Sur quelle base attendons-nous une évolution favorable du résultat final si cette action améliore l’indicateur ? » Cette question oblige à présenter la preuve qui relie les effets. Le rapprochement de mesures prises dans un même ensemble d’observations répond à une autre question.
3. Quels chemins peuvent produire cette inversion ?
Un effet direct opposé, une cause commune au substitut et au résultat, ou une transmission inégale des effets peuvent produire l’inversion. VanderWeele, dans Biometrics en 2013, déduit ces possibilités des conditions de ses propositions. Au moins l’une doit être présente pour que le paradoxe survienne dans le cadre considéré ; repérer une possibilité ne suffit donc pas à établir une inversion réelle.
| Mécanisme | Lecture du chemin causal | Question à instruire |
|---|---|---|
| Effet direct opposé | A agit sur Y par un chemin qui contourne S et va dans le sens défavorable. | Quels effets de l’action échappent à l’indicateur ? |
| Confusion | Une variable U influence S et Y ; leur association peut masquer leur relation causale. | Quelles causes communes expliquent leur évolution conjointe ? |
| Défaut de transitivité | Les effets favorables moyens ne se transmettent pas de façon concordante entre A, S et Y. | Chez qui l’action améliore-t-elle S, et chez qui S améliore-t-il Y ? |
L’effet direct montre pourquoi suivre S peut laisser une partie du bilan hors champ. La confusion explique pourquoi une relation statistique favorable peut subsister sans justifier l’action envisagée sur S. L’attribution aléatoire de A ne règle pas automatiquement ce problème : S lui-même n’est généralement pas attribué aléatoirement.
Le défaut de transitivité concerne la composition des effets. A peut augmenter S en moyenne tout en le diminuant pour certains individus, avec des conséquences sur Y. La moyenne favorable sur S ne suffit alors pas à déterminer la moyenne sur Y. Il faut examiner les relations au niveau où les hypothèses du modèle sont formulées.
4. Que prouvent les critères de substitution ?
Une association ou une médiation complète apporte une information différente des conditions suffisantes qui excluent le paradoxe. Dans son analyse de 2013, VanderWeele montre que les critères usuels de substitution peuvent être satisfaits alors que l’inversion demeure. Dire que tout l’effet passe par S décrit un chemin ; cela laisse ouverte la manière dont les variations de S affectent Y.
La monotonie distributionnelle impose une direction d’évolution à toute une distribution conditionnelle. Pour S, cela signifie qu’à caractéristiques U fixées, augmenter A ne diminue jamais la probabilité que S dépasse un seuil donné, quel que soit ce seuil. L’exigence dépasse celle d’une simple hausse de la moyenne de S.
Dans le cadre causal étudié, sans effet direct de A sur Y, une condition suffisante associe cette monotonie à une moyenne conditionnelle de Y qui ne décroît pas lorsque S augmente, pour chaque valeur de U. L’effet moyen de A sur Y est alors non négatif. Une condition suffisante pour étendre cette conclusion à la distribution de Y consiste à imposer aussi la monotonie distributionnelle de la relation entre S et Y.
L’auteur étend ensuite ces résultats au cas où A agit également sur Y sans passer par S : les conditions imposent alors aussi une direction non défavorable à cette relation directe, à S et U fixés. Ces résultats sont des implications mathématiques sous hypothèses. Leur utilisation pour décider demande donc de documenter les hypothèses du modèle retenu.
5. Que permet le rapprochement avec TW3 ?
Le rapprochement porte sur la séparation des preuves et sur les hypothèses de transfert. Dans Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, Elisha Bajemon et André-Louis Rochet distinguent une hypothèse de validité de l’ordre causal relatif des interventions de référence et une hypothèse de transport de cet ordre vers les modifications et le corpus utilisés pour calibrer leur indicateur.
Ce découpage pose des questions successives. L’ordre des effets de référence décrit-il correctement leur cadre d’origine ? Reste-t-il pertinent avec les interventions réalisées dans le cadre de calibration ? La prépublication sépare ensuite l’évaluation observationnelle, qui examine si les mesures évoluent ensemble, de l’évaluation par intervention, qui examine l’effet des actions. Cette dernière évaluation vérifie les effets dans le contexte actuel, distinct du cadre de calibration. Ce sont ces distinctions méthodologiques qui sont reprises ici.
TW3 ne démontre pas un paradoxe du substitut dans cette expérience. Le rapprochement avec VanderWeele éclaire la nature des preuves à rechercher pour une autre décision.
Notre recommandation pour un dossier d’entreprise est de séparer la preuve obtenue dans le périmètre initial des hypothèses invoquées pour le nouveau périmètre. Une fiche de décision peut ainsi identifier la population observée, l’intervention effectivement évaluée, puis la population et l’intervention prévues. Les écarts deviennent des objets de vérification. Le responsable métier peut alors préciser quelle conclusion est étayée et quelle conclusion reste conditionnelle.
6. Quelles questions poser avant de piloter un proxy ?
Il faut relier chaque usage envisagé du proxy à une question causale et à une preuve adaptée. Le questionnaire ci-dessous est une proposition de méthode du cabinet, construite à partir des mécanismes de VanderWeele.
- Quelle action sera réellement décidée ? Décrire ce qui change dans le fonctionnement de l’activité lorsque l’indicateur sert au pilotage.
- Quels chemins relient cette action au résultat ? Représenter le passage par S et les effets qui le contournent, puis examiner leur direction.
- Quelles causes communes influencent S et Y ? Identifier les variables observées et les hypothèses concernant celles qui restent hors mesure.
- Pour quelles populations les effets sont-ils établis ? Examiner si les évolutions moyennes regroupent des réponses différentes à l’action.
- Comment confronter la décision au résultat final ? Prévoir une mesure de Y dans le périmètre d’usage et définir la conclusion qu’elle doit permettre.
Un complément vient de Manheim et Garrabrant, Categorizing Variants of Goodhart’s Law, prépublication déposée sur arXiv le 13 mars 2018, révisée le 24 février 2019. Leur classification distingue la sélection du bruit dans une mesure imparfaite, le déplacement vers des situations extrêmes, les changements causaux produits par l’intervention et les réactions d’acteurs poursuivant d’autres objectifs.
Cette lecture ajoute une question : l’usage du proxy modifie-t-il les conditions dans lesquelles sa relation avec la cible a été observée ? Le questionnaire sert à délimiter l’usage autorisé et les vérifications à obtenir. Une incertitude documentée peut conduire à restreindre une décision, tout en conservant l’indicateur pour une fonction descriptive.
FAQ
Un proxy corrélé est-il un substitut validé ?
Une corrélation favorable ne suffit pas à valider le sens de l’effet d’une intervention. VanderWeele définit précisément le paradoxe dans une situation où le substitut et le résultat sont positivement associés. La validation doit porter sur la conclusion que l’on souhaite tirer pour l’action considérée.
Une médiation complète suffit-elle ?
Même lorsque tout l’effet passe par le substitut, l’inversion peut subsister. Les conditions suffisantes présentées par VanderWeele portent aussi sur les relations entre les variables, notamment sur la manière dont l’intervention déplace la distribution du substitut. La description du chemin causal doit être complétée par ces hypothèses.
Que signifie la monotonie distributionnelle ?
Elle impose que la probabilité de dépasser chaque seuil évolue dans la direction requise, dans chaque groupe défini par les variables de conditionnement. Pour le substitut, elle est plus exigeante qu’une augmentation de sa moyenne. Le raisonnement doit préciser sur quelles distributions conditionnelles porte cette hypothèse.
Le papier TW3 démontre-t-il ce paradoxe ?
Le rapprochement proposé concerne la méthode de vérification des hypothèses. Le papier TW3 distingue validité, transport et évaluation par intervention ; l’analyse de l’inversion causale présentée ici vient de VanderWeele. Appliquer son cadre à une situation d’entreprise demanderait des preuves propres à cette situation.
Quand faut-il mesurer le résultat final ?
Dans la méthode proposée, prévoyez cette mesure dès qu’une décision s’appuie sur l’effet attendu de l’action sur la cible. Elle doit permettre de confronter la conclusion tirée du substitut au résultat qui motive l’usage. Le dispositif de mesure se définit avec l’intervention et la population concernées.
Pour aller plus loin
- Validité de construit : que mesure réellement votre indicateur ?
- Témoin neutre et contrôle négatif : concevoir une comparaison appariée
- Modèle de menace : définir ce qu’un attaquant peut changer dans un score
Sources
- Tyler J. VanderWeele, Biometrics, Surrogate measures and consistent surrogates, septembre 2013, consulté le 9 octobre 2026.
- Elisha Bajemon et André-Louis Rochet, TW3 Partners, Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, texte intégral et PDF, consultés le 9 octobre 2026.
- David Manheim et Scott Garrabrant, Categorizing Variants of Goodhart’s Law, prépublication déposée sur arXiv le 13 mars 2018, version révisée du 24 février 2019, PDF intégral, consulté le 9 octobre 2026.