Validité de construit : que mesure réellement votre indicateur ?

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 13 novembre 2026.

En bref

La validité de construit examine si un indicateur représente bien la notion métier qu’il prétend mesurer, afin de savoir quelles décisions il peut éclairer. Lorsqu’une notion échappe à l’observation directe, il faut justifier le choix des données utilisées pour la mesurer. Selon Jacobs et Wallach, dans Measurement and Fairness, version du 12 mars 2021, ce passage aux données engage des hypothèses à expliciter et à tester. L’examen porte à la fois sur la stabilité du résultat et sur sa signification pour l’usage envisagé. La prépublication TW3 Scoring Without the Engine, déposée sur arXiv le 7 septembre 2026, formule quatre critères pour retenir une variable, dont nous examinons ici les justifications. La grille proposée aide le responsable métier à relier les observations disponibles aux décisions permises.

1. Que désigne la validité de construit ?

La validité de construit désigne le degré de justification du lien entre une notion théorique et la mesure censée la représenter. Dans Measurement and Fairness, version de 2021, Jacobs et Wallach expliquent que ce lien repose sur un modèle de mesure : des règles qui relient le construit aux propriétés observables supposées lui correspondre.

Le construit est la notion théorique que l’organisation souhaite mesurer. Lorsqu’il échappe à l’observation directe, le modèle le représente par une variable dite latente. L’indicateur est le résultat observable ou calculable mobilisé pour l’approcher. L’opérationnalisation rassemble les choix qui conduisent de cette définition au calcul : observations retenues, relations supposées et manière de les combiner. Attribuer à une colonne le nom « qualité » laisse ces choix à expliciter.

Les autrices présentent la validité comme une question de degré, soutenue par un raisonnement critique. Elles distinguent notamment le sens donné à la mesure, les aspects du construit qu’elle couvre et les conséquences de son utilisation. Un désaccord sur la définition métier doit donc apparaître dans la discussion avant que l’équipe ne juge la formule appropriée.

Pour une revue de projet, nous recommandons de commencer par une définition rédigée sans référence aux données disponibles. Faites ensuite préciser les dimensions incluses dans cette définition et les limites du périmètre. L’équipe data pourra rapprocher chaque dimension des observations accessibles. Cette séquence de travail permet au responsable métier d’approuver une interprétation précise du score, avec ses conditions d’emploi.

2. Comment rendre les hypothèses de mesure visibles ?

Rendez explicite, pour chaque observation, la raison qui autorise à l’utiliser comme trace de la notion recherchée. Jacobs et Wallach, dans la version de 2021, placent au centre de leur démarche les hypothèses introduites lors du passage d’une abstraction à un modèle mathématique. Elles examinent aussi la structure des relations entre les observations et le construit.

La matrice suivante est une proposition de travail du cabinet. Elle contient les questions à instruire, sans données ni réponses préremplies.

Conservez une ligne par rapprochement entre dimension et observation. Une même donnée pourra ainsi être discutée au regard de plusieurs interprétations possibles. Demandez au métier de formuler le lien attendu en langage courant, puis à l’équipe data de préciser comment le calcul le traduit. La personne qui relit doit pouvoir retrouver ce raisonnement sans examiner le code.

Ajoutez les situations dans lesquelles l’interprétation serait remise en cause. Lorsque la relation dépend du contexte de collecte, inscrivez cette dépendance dans la matrice. Lorsqu’une dimension reste sans observation, faites apparaître la restriction correspondante dans l’intitulé ou la description du score. Cette pratique proposée vise à rendre les désaccords traitables avant les essais de performance.

3. Quelles preuves faut-il réunir ?

Il faut réunir des preuves qui répondent à des questions différentes sur la mesure. Jacobs et Wallach, en 2021, distinguent notamment les validités de contenu, convergente, discriminante et prédictive. Ces aspects servent ici à organiser la revue ; ils ne constituent pas une procédure de certification.

La validité de contenu porte sur la couverture du construit par son opérationnalisation. Il faut examiner les dimensions représentées, leur pertinence et la structure de leurs relations. Une dimension essentielle laissée hors du calcul constitue une objection à cette couverture. La revue commence donc par la définition, avec les personnes capables d’en discuter le sens.

La validité convergente examine la corrélation avec d’autres mesures du même construit dont la validité a déjà été suffisamment établie. Les autrices avertissent qu’un rapprochement avec une mesure mal validée peut donner une confiance injustifiée. Les différences observées demandent une explication : elles peuvent révéler des dimensions que les méthodes représentent différemment.

La validité discriminante examine si le score capte indûment un autre construit. Les associations observées doivent correspondre aux relations théoriquement attendues. L’objectif n’est donc pas d’exiger une indépendance absolue entre toutes les mesures. Une association excessive, ou l’absence d’une relation attendue, appelle l’examen des hypothèses.

La validité prédictive examine dans quelle mesure l’indicateur prédit des mesures de propriétés liées au construit, mais absentes de son opérationnalisation. Elle se distingue ainsi de la seule performance de prédiction sur un échantillon de test. Elle concerne principalement l’utilité de la mesure.

Dans le dossier de revue, associez à chaque preuve recherchée une observation susceptible de la contredire. Présentez séparément les conclusions obtenues : une corrélation favorable renseigne une relation déterminée, tandis que la couverture du construit exige son propre examen.

4. Pourquoi la répétabilité ne suffit-elle pas ?

La répétabilité désigne ici la stabilité d’une mesure dans le temps lorsque la notion mesurée reste inchangée. La validité examine la signification et l’utilité de cette mesure. Jacobs et Wallach, dans Measurement and Fairness en 2021, traitent ces questions séparément et soulignent qu’un manque de fiabilité peut compliquer l’évaluation de la validité.

Pour la répétabilité dans le temps, leur condition est précise : le construit lui-même doit être resté stable. Un changement de résultat demande donc d’examiner à la fois les conditions de mesure et une éventuelle évolution de la réalité observée. Cela évite d’attribuer immédiatement toute variation au dispositif de calcul.

La distinction entre stabilité et couverture conduit à examiner les omissions du calcul : une règle peut produire une mesure stable tout en laissant une dimension du construit hors de son périmètre. Pour la revue proposée ici, confrontez donc la liste des dimensions attendues aux observations effectivement retenues.

Dans une revue métier, prévoyez une conclusion distincte pour chaque question. La première décrit les conditions dans lesquelles la mesure se reproduit. La seconde indique les dimensions que les preuves disponibles permettent de lui attribuer. Lorsque l’une de ces conclusions reste incertaine, précisez l’examen requis et les usages suspendus à son résultat. La décision conserve ainsi une trace du niveau de preuve attaché à chaque interprétation.

5. Comment le papier justifie-t-il ses variables ?

Le papier rend l’inclusion et l’exclusion des variables vérifiables au moyen de critères explicites. L’annexe C de Scoring Without the Engine, prépublication TW3 déposée sur arXiv le 7 septembre 2026, sépare les contraintes de calcul, la pertinence du construit, le rôle expérimental et la portabilité linguistique.

Le premier critère exige un calcul déterministe, sans recours à un modèle appris au moment de la notation. Il définit une contrainte de conception de l’instrument. Le critère de pertinence demande, avant la calibration, une raison documentée de relier chaque composante au phénomène visé. Ces justifications répondent à des questions différentes : l’une porte sur la fabrication de la mesure, l’autre sur son interprétation.

Le rôle expérimental s’apprécie après la calibration du score. Une composante doit contribuer à reproduire un effet de référence, intervenir dans un contrôle de robustesse ou couvrir une dimension que les références disponibles ne permettent pas d’examiner. Dans ce dernier cas, les auteurs la signalent comme héritée d’un choix préalable. Cette mention distingue une justification conservée d’une preuve causale.

Enfin, la portabilité concerne le calcul en anglais et en français ; les auteurs précisent que cet objectif est imparfaitement atteint. Les candidats exclus reçoivent un motif et un statut, définitif ou réexaminable selon les preuves futures.

Pour adapter cette démarche à un indicateur métier, consignez séparément la faisabilité de chaque variable, sa justification conceptuelle et les observations qui la soutiennent. Cette adaptation proposée par TW3 conserve la discipline de justification de l’annexe, sans reprendre son instrument ni lui attribuer une validation du nouveau construit.

6. Quel dossier soumettre au métier ?

Soumettez un dossier qui permet de relier chaque décision envisagée à une définition et à des preuves identifiées. Le Handbook on Constructing Composite Indicators de l’OCDE et du Centre commun de recherche de la Commission européenne, 2008 demande de partir d’un cadre théorique. Il invite à choisir ce qu’il est souhaitable de mesurer avant de se limiter aux indicateurs disponibles.

Pour instruire un nouvel indicateur, TW3 recommande la grille de revue suivante :

Pour un score qui combine plusieurs indicateurs, le manuel apporte des points d’attention précis. La normalisation rend les variables comparables. Les choix de pondération et d’agrégation doivent rester cohérents avec le cadre théorique. Il demande aussi d’examiner les approches possibles pour remplacer les valeurs manquantes. Dans la grille proposée, consignez les raisons du traitement retenu.

Le double comptage demande une lecture à la fois statistique et conceptuelle : des variables corrélées peuvent représenter un même signal, mais aussi des aspects distincts qu’il serait utile de conserver. Autre choix à expliciter, la compensation autorise un bon résultat sur une dimension à contrebalancer un déficit sur une autre. Le manuel décrit cette propriété pour les agrégations linéaires et géométriques.

Faites donc préciser au métier quelles compensations sont acceptables pour l’usage envisagé. Terminez la revue par une décision écrite sur cet usage et sur les hypothèses à réexaminer si le périmètre change. Cette grille est une proposition du cabinet, construite à partir des questions de mesure documentées dans les sources.

FAQ

Une mesure fiable est-elle nécessairement valide ?
La fiabilité indique que des entrées similaires produisent des résultats similaires dans les conditions examinées. La validité demande des preuves sur la représentation du construit et l’utilité de la mesure, selon Jacobs et Wallach, version de 2021. Ces conclusions doivent rester distinctes dans le dossier soumis au métier.

Faut-il plusieurs indicateurs par notion ?
Le choix dépend des dimensions que la définition oblige à représenter. Le manuel OCDE et JRC de 2008 invite à décomposer les concepts multidimensionnels et à justifier les relations entre leurs composantes. Ajouter des variables demande ensuite d’examiner leur apport et un éventuel double comptage.

Une forte corrélation suffit-elle ?
Elle soutient une association dans le périmètre observé. Pour la validité convergente, Jacobs et Wallach, version de 2021, exigent notamment que la mesure de comparaison ait été suffisamment validée. La couverture du construit et les relations avec les autres notions appellent des preuves complémentaires.

Qui doit définir le construit ?
Nous recommandons une rédaction conjointe par les responsables métier et les personnes chargées de la mesure, puis une approbation de l’interprétation retenue. Le manuel OCDE et JRC de 2008 préconise d’associer experts et parties prenantes à la construction du cadre conceptuel. Les désaccords doivent apparaître dans le dossier avec leur conséquence sur l’usage du score.

Quand revoir cette définition ?
Prévoyez son réexamen lorsqu’un changement d’usage, de population ou de collecte modifie les hypothèses documentées. Cette règle de travail découle de la revue proposée dans l’article. Elle conduit à distinguer les preuves encore applicables des nouvelles observations nécessaires avant d’étendre l’usage.

Pour aller plus loin

• Paradoxe du substitut : pourquoi améliorer un proxy peut dégrader le résultat.
• Model card d’un score : documenter les usages permis et les preuves disponibles.
• Identifiabilité des poids : plusieurs scores peuvent expliquer les mêmes observations.

Sources

• Jacobs et Wallach, Measurement and Fairness, prépublication déposée sur arXiv le 11 décembre 2019, version du 12 mars 2021. Texte intégral lu, consulté le 9 octobre 2026.
• TW3 Partners, Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026. Notice, HTML et PDF lus, consulté le 9 octobre 2026.
• OCDE et Centre commun de recherche de la Commission européenne, Handbook on Constructing Composite Indicators: Methodology and User Guide, 2008. Consulté le 9 octobre 2026.