Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 17 novembre 2026.
En bref
Un modèle de menace précise si l’attaquant cherche à augmenter une note, à franchir un seuil ou à changer un classement, puis délimite ses moyens. Pour une direction métier, ce cadrage définit la décision que les essais doivent protéger. Dans On Evaluating Adversarial Robustness, prépublication déposée sur arXiv le 18 février 2019, Carlini et ses coauteurs demandent de préciser les objectifs, les capacités et les connaissances de l’adversaire. L’ensemble de tests décrit par TW3 dans Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, regroupe 3 familles d’attaques et fixe l’ordre des attaques combinées. Nous recommandons de traduire ce cadrage en une fiche indiquant les champs modifiables, les contraintes de validité, les informations accessibles et les limites d’effort. Le tableau proposé ci-dessous organise cette préparation avant toute exécution des essais.
1. Quel résultat l’attaquant cherche-t-il ?
Le résultat recherché doit s’exprimer dans l’unité de la décision exposée. Selon Carlini et ses coauteurs, version du 20 février 2019, provoquer une erreur de classification quelconque et obtenir une erreur dirigée vers une classe précise correspondent à des objectifs distincts. Un modèle de menace désigne ainsi les hypothèses qui délimitent ce que l’adversaire veut obtenir, sait du système et peut lui faire subir.
Pour un score métier, la transposition proposée consiste à séparer les objectifs suivants :
- Augmenter la note : mesurer l’écart entre la valeur initiale et la valeur après manipulation.
- Franchir un seuil : vérifier si une entrée initialement située du côté refusé passe du côté accepté.
- Changer l’ordre : vérifier si l’entrée manipulée dépasse une autre entrée dans un ensemble de comparaison défini.
Cette distinction commande les informations à conserver. Un objectif de seuil appelle la règle exacte d’acceptation ; un objectif de classement appelle un ensemble de comparaison figé et une règle de traitement des égalités. Le commanditaire doit aussi préciser le sens du score : une baisse peut servir l’attaquant lorsque la note représente un risque.
Inscrivez le critère de réussite avant les essais. Pour une décision soumise à un contrôle complémentaire, précisez si la réussite suppose aussi de passer ce contrôle. La fiche doit permettre au relecteur de décider, à partir des sorties conservées, si l’objectif annoncé a effectivement été atteint.
2. Quelles entrées peut-il modifier ?
Le périmètre doit énumérer les champs contrôlés par l’attaquant et les conditions que chaque modification doit respecter. Carlini et ses coauteurs, version du 20 février 2019, distinguent la modification d’une entrée des actions portant sur les paramètres du modèle ou sur la chaîne de traitement. Ils soulignent aussi que l’accès direct aux caractéristiques utilisées par un modèle constitue une hypothèse à expliciter.
Pour appliquer cette distinction à un score, nous proposons un inventaire des entrées au niveau où elles sont réellement accessibles. Associez à chaque champ son origine, l’acteur qui peut le renseigner et les contrôles appliqués avant le calcul. Indiquez ensuite les opérations admises : remplacer une valeur, supprimer une information ou ajouter un élément, selon l’interface étudiée. Les champs calculés par le système doivent être distingués des champs déclarés par son utilisateur.
La validité appartient au cahier des charges. Précisez les valeurs admissibles, les relations obligatoires entre champs et les propriétés du dossier qui doivent rester inchangées. Le testeur doit disposer d’un moyen de vérifier ces contraintes sur chaque entrée transformée.
Documentez enfin le chemin suivi jusqu’au calcul : une modification doit traverser les mêmes contrôles que dans le périmètre retenu. Si l’étude suppose un accès direct à une donnée intermédiaire, écrivez cette capacité séparément. Le relecteur pourra alors rattacher chaque observation au point d’accès qui l’a rendue possible.
3. Que sait-il du système ?
La fiche doit préciser les informations supposées accessibles à l’adversaire, puis celles remises au testeur pour examiner ce scénario. Carlini et ses coauteurs, version du 20 février 2019, opposent notamment la connaissance complète du modèle et de ses paramètres à un accès limité aux réponses du système. Ces réponses peuvent livrer des probabilités ou seulement la classe attribuée ; le nombre de requêtes peut également être limité.
Pour un score métier, décrivez concrètement l’accès étudié. Le testeur connaît-il la formule et les pondérations ? Peut-il soumettre une entrée et observer sa note ? Reçoit-il uniquement une décision ? Ces informations doivent figurer dans la fiche avec les documents et interfaces effectivement remis au testeur.
Les auteurs posent comme principe que l’attaquant connaît le fonctionnement de la défense. Ils demandent des attaques adaptées à celle-ci : appliquer des attaques existantes avec leurs réglages habituels peut laisser passer des faiblesses propres au système évalué.
La pratique proposée consiste donc à séparer la connaissance du mécanisme de protection des restrictions d’accès aux données ou aux sorties. Décrivez les informations supposées secrètes et la justification de cette hypothèse. Si plusieurs niveaux d’accès sont étudiés, conservez des fiches distinctes. Une conclusion obtenue avec la seule observation des décisions doit rester rattachée à cette condition ; elle ne couvre pas automatiquement un adversaire qui aurait aussi accès aux paramètres.
4. Comment représenter son effort ?
L’effort se décrit par les modifications autorisées et les ressources accessibles pour chercher une entrée qui réussit. Carlini et ses coauteurs, version du 20 février 2019, indiquent que la mesure de distance entre entrées et la limite de perturbation doivent dépendre de la tâche. Ils abordent séparément les restrictions sur les appels au système et le nombre d’étapes de calcul utilisé pour rechercher une attaque.
Pour un score tabulaire, construisez le budget à partir de l’interface : quels champs peuvent changer, de quelle amplitude et avec quelles dépendances ? Une limite sur le nombre de champs modifiés et une limite sur la variation d’une valeur représentent des contraintes différentes. Chacune doit avoir une unité lisible par le responsable métier. Les limites de modification de pixels utilisées en reconnaissance d’images ne fournissent pas, à elles seules, ce cadrage.
Séparez ensuite le budget de l’adversaire des moyens consacrés à l’évaluation. Pour les attaques par descente de gradient, une recherche qui ajuste progressivement l’entrée, les auteurs demandent de vérifier que l’efficacité se stabilise lorsque le nombre d’étapes augmente. Dans notre adaptation, la règle d’arrêt du testeur doit donc être justifiée séparément des contraintes imposées à l’adversaire.
Dans la fiche proposée, consignez la limite d’appels observable par le système, les ressources de recherche allouées au testeur et la règle d’arrêt. Prévoyez également de conserver les réglages employés. Ce relevé permettra de distinguer une restriction du scénario d’une limite pratique rencontrée pendant l’exécution.
5. Quelles hypothèses le banc TW3 rend-il explicites ?
Le banc TW3 déclare les familles de manipulations, leurs doses et l’ordre de leurs combinaisons. Dans Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, Elisha Bajemon et André-Louis Rochet regroupent les attaques en dégradations, amplifications et attaques combinées. La composition suit un ordre fixé. Les comparaisons de séparation entre entrées manipulées et témoins utilisent un contrôle neutre correspondant à la dose étudiée, afin de contrôler le volume.
La dose désigne ici l’intensité de la transformation appliquée. L’intérêt méthodologique est de déclarer ensemble la transformation et son intensité : le nom d’une famille ne décrit pas à lui seul les entrées produites. Pour une combinaison, l’ordre fait également partie du protocole conservé.
La transposition que nous proposons à un score métier consiste à enregistrer, pour chaque scénario, les opérations permises, leur intensité et leur ordre. Lorsqu’un contrôle neutre est pertinent, définissez la propriété qu’il conserve afin d’isoler la modification étudiée. Il s’agit d’une adaptation du cadrage, à justifier selon les données et la décision concernées.
Les auteurs précisent que leur ensemble d’attaques reste non exhaustif : les attaques extérieures aux familles mises à disposition sont hors des essais réalisés. Ils distinguent aussi la cohérence des résultats avec les fichiers produits de la justesse du dispositif qui les produit. Pour le commanditaire, cela invite à demander une description vérifiable des scénarios et une revue de leur pertinence métier, en complément des résultats numériques.
6. Quelle fiche de menace remettre au relecteur ?
Le relecteur doit recevoir une fiche qui relie chaque conclusion attendue à un scénario délimité. Le tableau suivant est notre proposition de travail, construite à partir des distinctions de Carlini et ses coauteurs, version du 20 février 2019.
| Rubrique | Information à renseigner | Question de relecture |
|---|---|---|
| Objectif | Décision visée et sens de la manipulation | Quel effet l’adversaire recherche-t-il ? |
| Capacité | Champs accessibles, opérations et contraintes | L’entrée transformée reste-t-elle admissible ? |
| Connaissance | Formule, paramètres, sorties et documentation accessibles | De quelles informations dispose le testeur ? |
| Budget | Amplitude, champs modifiables, appels et moyens de recherche | Quelle limite relève du scénario ou de l’exécution ? |
| Succès | Règle de décision et observations à conserver | Qu’est-ce qui permettra de constater la réussite ? |
| Exclusions | Accès, transformations et situations hors périmètre | Quelles conclusions resteront hors de portée ? |
Ajoutez à cette fiche la finalité métier représentée par la note. Dans Categorizing Variants of Goodhart’s Law, prépublication déposée sur arXiv le 13 mars 2018, révisée le 24 février 2019, Manheim et Garrabrant distinguent plusieurs mécanismes par lesquels l’optimisation d’un indicateur rompt sa relation avec l’objectif poursuivi. La sélection liée au bruit de l’indicateur, le déplacement vers des situations extrêmes, une intervention causale ou l’action d’un acteur aux intérêts différents peuvent intervenir dans cette rupture.
La pratique proposée est de vérifier avec le métier quelle amélioration réelle le score est censé représenter, puis quelles manipulations pourraient déplacer la note sans produire cette amélioration. Cette question aide à choisir les contraintes de validité et le critère de réussite.
Toute hypothèse encore indécise doit rester visible dans la fiche. Carlini et ses coauteurs rappellent qu’une liste de contrôle demande une appréciation propre à la défense étudiée. Faites donc relire les choix par le responsable de la décision et par l’équipe chargée des essais avant d’arrêter le protocole.
FAQ
Une hausse de note est-elle une attaque réussie ?
Elle l’est si le critère retenu porte sur cette hausse et si l’entrée respecte les contraintes du scénario. Pour un objectif de seuil ou de classement, il faut constater l’effet décisionnel correspondant. Conservez donc la note et les informations nécessaires à cette décision.
Faut-il révéler la formule au testeur ?
La connaissance supposée fait partie du modèle de menace. Pour examiner un accès complet, le testeur doit disposer des éléments correspondants ; pour examiner un accès limité, la fiche doit décrire précisément les sorties observables. La connaissance du mécanisme de défense reste une hypothèse centrale dans la méthode de Carlini et ses coauteurs présentée plus haut.
Quel budget choisir ?
Choisissez des unités qui correspondent aux capacités étudiées : amplitude de modification, champs accessibles et appels au système. Justifiez les limites avec le responsable métier et l’équipe technique. Documentez séparément les moyens alloués à la recherche d’attaques, afin que le compte rendu fasse apparaître les limites de l’évaluation.
Le scénario le plus fréquent suffit-il ?
Pour examiner la résistance au pire cas envisagé, il faut couvrir les capacités pertinentes dans le périmètre retenu. La fréquence peut aider à organiser les priorités, mais elle ne délimite pas à elle seule ces capacités. Indiquez les scénarios retenus et la raison de chaque exclusion.
Comment noter les attaques hors périmètre ?
Décrivez l’opération ou l’accès exclu et la conclusion qui resterait à examiner. Dans la méthode de Carlini et ses coauteurs, une attaque hors du modèle annoncé ne réfute pas directement la résistance revendiquée dans ce modèle. Elle peut conduire à ouvrir une évaluation complémentaire lorsque la capacité concernée compte pour la décision métier.
Pour aller plus loin
- Tester la robustesse sur des attaques absentes de l’ajustement.
- Attaques combinées : vérifier les interactions entre manipulations d’un score.
- Fixer un seuil de détection sous contrainte de faux positifs.
Sources
- Carlini et coauteurs, On Evaluating Adversarial Robustness, prépublication déposée sur arXiv le 18 février 2019, version du 20 février 2019. Texte intégral, consulté le 9 octobre 2026.
- TW3 Partners, Bajemon et Rochet, Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026. Texte intégral en HTML et PDF, consultés le 9 octobre 2026.
- Manheim et Garrabrant, Categorizing Variants of Goodhart’s Law, prépublication déposée sur arXiv le 13 mars 2018, version du 24 février 2019. Texte intégral, consulté le 9 octobre 2026.