Objectif ou contrainte : comment sélectionner un score multicritère ?

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 14 novembre 2026.

En bref

Pour choisir une méthode de notation, séparez les qualités entre lesquelles vous acceptez un compromis des exigences que toute solution doit respecter. Une moyenne pondérée, qui donne un poids à chaque critère, permet de compenser une faiblesse par un avantage ailleurs ; une contrainte fixe une condition à respecter. Le guide de l’OCDE et du Centre commun de recherche de la Commission européenne, paru en 2008 explique pourquoi ce choix doit accompagner celui des poids. Dans Scoring Without the Engine, prépublication de TW3 déposée sur arXiv le 7 septembre 2026, la sélection comporte 5 conditions éliminatoires. Cette distinction évite de retenir une solution bien notée qui échoue sur une exigence obligatoire. Le livrable recommandé est une règle écrite, fixée pendant la mise au point puis vérifiée sur des données distinctes.

1. Quels critères peuvent se compenser ?

Seuls les critères pour lesquels le responsable de la décision accepte un échange devraient entrer dans une compensation. Une préférence désigne ici une qualité recherchée dont une faiblesse peut être acceptée en contrepartie d’un avantage identifié. Une exigence éliminatoire définit une condition que toute solution retenue doit satisfaire.

Dans son guide sur les indicateurs composites de 2008, l’OCDE demande de définir le phénomène à mesurer avant de choisir les indicateurs. Le guide précise aussi qu’une agrégation linéaire permet de compenser un déficit sur une dimension par un surplus sur une autre. Accepter cette opération relève donc du sens donné à la décision.

Pour appliquer cette distinction à la sélection d’un score, TW3 recommande de qualifier chaque critère avant de calculer une note globale. Inscrivez sa fonction dans le dossier : amélioration souhaitée, condition obligatoire ou information complémentaire. Faites justifier cette fonction par le responsable de l’usage. Une exigence de fonctionnement doit rester visible lorsque la performance moyenne s’améliore.

Cette qualification permet de discuter les désaccords au bon endroit. Si une direction souhaite accepter un dépassement, elle propose une révision de l’exigence. Si elle souhaite seulement privilégier une qualité parmi les solutions acceptables, elle propose un arbitrage de préférence. La formule choisie doit traduire cet arbitrage explicitement.

2. Comment fonctionne une somme pondérée ?

Une somme pondérée multiplie chaque mesure par un poids, puis additionne les contributions obtenues. Son interprétation dépend des échelles employées et des compensations acceptées entre les critères.

Le manuel de l’OCDE et du Centre commun de recherche, 2008 rappelle que la normalisation précède l’agrégation d’indicateurs exprimés dans des unités différentes. Cette opération désigne la transformation des valeurs pour les ramener à une échelle commune. Le même ouvrage souligne que les poids expriment des jugements de valeur et, dans une agrégation linéaire, des compensations entre dimensions. Des poids égaux constituent eux aussi un choix de pondération.

La pratique proposée ici consiste à documenter ensemble la mesure brute, sa transformation et son poids. Présenter seulement le poids laisse le lecteur sans explication sur la contribution réelle du critère. Pour chaque arbitrage, décrivez quel avantage peut compenser quelle dégradation, dans le périmètre de décision retenu.

Le guide attire également l’attention sur le double comptage : des indicateurs qui recouvrent une même dimension peuvent cumuler leur influence. Il invite à examiner leur signification autant que leur corrélation statistique. Avant de supprimer un indicateur ou de réduire son poids, vérifiez donc ce qu’il mesure. Examinez si les mesures décrivent le même aspect du besoin avant de les traiter comme redondantes. Cette revue appartient à la conception du score et doit accompagner la justification des poids.

3. Que change une optimisation sous contraintes ?

Une optimisation sous contraintes recherche une solution favorable parmi celles qui respectent toutes les exigences déclarées. L’ensemble admissible désigne cet ensemble de solutions autorisées. L’objectif sert ensuite à les comparer.

Dans la prépublication de TW3 déposée sur arXiv le 7 septembre 2026, l’alignement mesure l’accord entre les variations du score sous des modifications contrôlées et les effets de référence retenus dans le protocole. Il constitue l’objectif, tandis que des tests de validité définissent les conditions d’admissibilité. La mise en œuvre ajuste les familles de scores, puis élimine celles qui échouent aux tests. Le papier distingue aussi le rôle d’une comparaison secondaire de celui des conditions obligatoires : elle contribue à comparer les solutions admissibles, sans conditionner leur admissibilité.

Cette architecture sépare des responsabilités que nous proposons de reprendre dans un dossier métier. Le responsable de l’usage justifie les exigences ; l’équipe chargée de l’évaluation précise comment les vérifier ; la décision finale porte sur les candidats admissibles. Pour chaque condition, consignez la mesure, son sens, la limite applicable et les données utilisées pour la contrôler.

Prévoyez aussi le cas où l’ensemble admissible est vide. La procédure proposée doit alors produire un constat d’absence de solution acceptable dans le périmètre testé. La suite peut être une nouvelle recherche de candidats ou une révision explicite des exigences. Garder cette issue dans la règle évite qu’un classement impose mécaniquement un gagnant malgré l’échec de tous les candidats aux conditions fixées.

4. Comment comparer les candidats éliminés ?

Comparez les candidats éliminés à partir de la condition qui les exclut, en conservant leur performance et leur écart au seuil dans des colonnes distinctes.

Dans les résultats de la prépublication de TW3 déposée sur arXiv le 7 septembre 2026, des candidats linéaires présentent un alignement supérieur à celui de la stratégie retenue, tout en échouant à une condition sur l’évolution du score lorsqu’une même modification est répétée. Une autre famille obtient un résultat favorable sur la comparaison secondaire, mais échoue elle aussi à une condition éliminatoire. Ces observations illustrent, dans le protocole étudié, pourquoi une bonne valeur d’objectif ne suffit pas à décider.

Pour transposer cette lecture, le cabinet propose le tableau suivant. Il décrit un document à remplir avec les mesures du projet ; il ne reproduit aucun résultat expérimental.

Une condition non vérifiable appelle une mesure complémentaire avant de conclure à l’admissibilité. Pour les conditions échouées, conserver la marge aide à orienter les travaux suivants. Nous proposons de joindre au tableau la version du candidat, celle du protocole et la référence des données. Ces éléments permettent de retrouver les raisons de l’élimination lors d’une nouvelle évaluation.

5. Que faire si plusieurs candidats restent admissibles ?

Appliquez l’objectif principal, puis les critères de départage annoncés, en tenant compte de l’incertitude des comparaisons. L’admissibilité établit le respect des exigences ; elle laisse ouverte la décision entre les solutions qui les satisfont.

Le guide de l’OCDE et du Centre commun de recherche, 2008 fournit le cadre pour justifier les préférences. Il faut lui associer une précaution d’évaluation : dans leur article paru au Journal of Machine Learning Research en juillet 2010, Cawley et Talbot montrent que le processus de sélection peut lui-même surajuster un critère évalué sur un échantillon fini. Autrement dit, une règle de choix peut s’adapter aux particularités des données utilisées pour choisir.

La recommandation du cabinet est de préciser à l’avance ce qui départagera des solutions dont les performances restent difficiles à distinguer. La facilité de maintenance ou la compatibilité avec l’exploitation peuvent servir de critères opérationnels proposés, sous réserve de les définir et de les examiner effectivement. Leur rôle doit figurer dans le dossier avant la comparaison finale.

Si les mesures ne permettent pas d’établir une différence de performance, documentez le motif opérationnel du choix avec ses éléments vérifiables. Conservez les autres candidats admissibles et les raisons du départage. La décision peut ainsi être relue sans transformer une préférence d’exploitation en supériorité expérimentale.

6. Comment protéger la règle contre les résultats observés ?

Fixez la procédure de sélection sur les données de développement et réservez des données distinctes pour confirmer le choix. Cette séparation doit couvrir les réglages qui influencent la décision.

La prépublication de TW3 déposée sur arXiv le 7 septembre 2026 décrit un ajustement des poids et une sélection des familles sur les données d’apprentissage. Les résultats du jeu de test servent à confirmer cette sélection. Elle rapporte aussi qu’un candidat de référence satisfait les conditions sur l’apprentissage mais échoue à certaines d’entre elles sur le test : la confirmation peut donc révéler un défaut resté invisible pendant le développement.

Dans leur publication JMLR de juillet 2010, Cawley et Talbot demandent de traiter l’apprentissage et la sélection comme les parties d’une même procédure d’ajustement. Cette analyse motive la pratique proposée ici : archiver les seuils, les transformations, les règles de départage et les versions avant l’évaluation finale.

Distinguez ensuite une vérification de sensibilité d’une modification de décision. La première examine ce qui change lorsque l’on fait varier une hypothèse. La seconde adopte une nouvelle règle, par exemple un seuil révisé pour retenir un candidat. Si cette révision est guidée par les résultats du test, considérez ceux-ci comme des données de développement pour cette nouvelle version et prévoyez une confirmation distincte. Consignez le motif, la portée et la responsabilité de la modification.

FAQ

Une bonne moyenne compense-t-elle tout ?
Elle peut autoriser des compensations entre les critères inclus dans son calcul. Une condition éliminatoire exige un contrôle séparé pour toute solution retenue. La distinction entre objectif et conditions de validité décrite dans la prépublication de TW3 déposée sur arXiv le 7 septembre 2026 fournit une manière d’organiser cette séparation.

Que faire sans solution admissible ?
Dans la procédure proposée, consignez l’absence de solution acceptable parmi les candidats évalués et indiquez les conditions échouées. Une révision des exigences doit être justifiée et enregistrée comme une nouvelle décision. Relancez ensuite l’évaluation avec la règle correspondante.

Qui choisit les seuils ?
Nous proposons que les responsables de l’usage justifient les limites et que l’équipe d’évaluation documente leur mesure. Le dossier doit préciser le périmètre dans lequel elles s’appliquent. Les seuils d’un protocole de recherche restent attachés aux conditions de ce protocole.

Peut-on modifier la règle après le test ?
Une modification reste possible, mais elle ouvre une nouvelle version de la procédure. Si les résultats du test ont guidé cette modification, prévoyez une nouvelle confirmation sur des données distinctes. Cette pratique prolonge la séparation entre sélection et évaluation discutée par Cawley et Talbot dans le JMLR, juillet 2010.

Comment départager deux solutions admissibles ?
Utilisez les préférences annoncées avant la comparaison et examinez l’incertitude des mesures. Lorsque l’évaluation ne distingue pas leur performance, explicitez le critère opérationnel retenu et les éléments qui le justifient. Le dossier doit permettre de comprendre ce qui a motivé le choix.

Pour aller plus loin

• Régulariser vers une référence : quel rôle donner aux anciens poids d’un score ?
• Concavité et amplification : lire les garanties d’un score borné
• Contraintes monotones : imposer le sens d’une variable dans un modèle appris

Sources

• TW3 Partners, Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, texte intégral en HTML et PDF consulté le 9 octobre 2026.
• OCDE et Centre commun de recherche de la Commission européenne, Handbook on Constructing Composite Indicators: Methodology and User Guide, 2008, PDF intégral consulté le 9 octobre 2026.
• Gavin C. Cawley et Nicola L. C. Talbot, On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation, JMLR, juillet 2010, PDF intégral consulté le 9 octobre 2026.