Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 16 novembre 2026.
En bref
Pour vérifier qu’un score résiste à des manipulations inédites, réservez au test final des façons d’attaquer qui n’ont servi à aucun réglage. Il faut distinguer un nouvel exemple, une manipulation plus intense et une façon d’attaquer différente. TW3 propose de séparer les familles utilisées pour concevoir la protection de celles réservées à sa confirmation, en conservant des exemples non modifiés et des témoins comparables. Dans Scoring Without the Engine, prépublication de TW3 déposée sur arXiv le 7 septembre 2026, le niveau à partir duquel une entrée est signalée est réglé sur les entrées ordinaires, avec 5 % de fausses alertes, c’est-à-dire d’entrées légitimes signalées. Pour une autre application, le cabinet propose de choisir ce taux selon les conséquences métier des alertes injustifiées. Le tableau proposé réunit les résultats des essais pour décider du périmètre d’usage acceptable, à réexaminer lorsque le système ou les capacités de l’attaquant changent.
1. Que signifie « hors distribution » pour une attaque ?
Une attaque est ici dite hors distribution lorsque son mécanisme était absent des manipulations utilisées pour ajuster la défense. Une famille d’attaque désigne, dans le protocole proposé, un ensemble de transformations reposant sur la même opération. Sa définition doit préciser ce qui change dans l’entrée et ce que l’adversaire peut obtenir.
Cette convention transpose aux attaques une distinction étudiée par Koh et ses coauteurs dans WILDS, prépublication déposée sur arXiv le 14 décembre 2020, révisée le 16 juillet 2021 : des données de test peuvent provenir de domaines distincts de ceux utilisés pour l’apprentissage. WILDS étudie notamment des changements naturels de distribution ; la séparation par mécanismes adversariaux est l’adaptation proposée ici.
Il est utile de distinguer la nouveauté de l’observation, celle de l’intensité et celle de l’opération. Une observation supplémentaire peut subir une transformation déjà connue. Augmenter l’intensité de cette transformation explore sa réponse à une sollicitation plus forte. Réserver une opération entière au test pose la question du transfert vers un mécanisme absent de la conception.
Le modèle de menace, c’est-à-dire les objectifs, connaissances et capacités attribués à l’adversaire, reste la référence. Carlini et ses coauteurs, dans On Evaluating Adversarial Robustness, prépublication déposée sur arXiv le 18 février 2019, révisée le 20 février 2019, demandent de respecter ce périmètre lorsqu’on évalue une défense. Changer les droits d’accès de l’attaquant exige donc de le signaler dans la conclusion.
2. Comment séparer les familles ?
La séparation doit intervenir avant les réglages, à partir d’un inventaire des opérations et de leur usage dans l’expérience. TW3 recommande de tenir un registre indiquant, pour chaque famille, sa définition, ses variantes et son affectation au développement ou à la confirmation. Les réglages de la défense s’appuient sur le développement ; la confirmation sert à examiner la version retenue.
Dans WILDS, version du 16 juillet 2021, la sélection des modèles utilise un ensemble de validation distinct du test, avec un changement de distribution similaire mais différent. Les auteurs réservent le test à l’évaluation finale. Cette séparation justifie de distinguer, dans notre adaptation, les attaques explorées pour choisir la défense de celles utilisées pour en confirmer la portée.
Répartir aléatoirement les variantes d’une opération entre développement et test laisse cette opération connue lors de la conception. Pour évaluer un mécanisme inédit, l’affectation doit donc porter sur la famille entière. Il faut également consigner les observations d’origine : la nouveauté de l’opération et celle des données sont des dimensions à examiner séparément.
Avant d’exécuter la confirmation, figez la version du score, les seuils et les critères de réussite. Si un résultat conduit à modifier la protection, archivez la campagne comme une étape de développement. La nouvelle version appelle une confirmation dont les résultats n’ont pas guidé cette modification. Cette règle proposée rend visible l’usage réel de chaque test dans les décisions de conception.
3. Quels témoins conserver ?
Conservez les entrées non modifiées et des témoins permettant d’isoler l’effet de la transformation étudiée. Dans Scoring Without the Engine, déposé le 7 septembre 2026, le protocole associe aux attaques des ajouts neutres de longueur comparable. Le seuil de détection est défini sur le seul ensemble d’entrées ordinaires, comprenant les originaux et ces variantes neutres. Cette construction permet de contrôler l’effet d’une augmentation de volume.
Pour adapter cette logique à un autre score, identifiez d’abord ce qui peut expliquer un changement sans constituer une attaque. Si l’opération modifie la taille de l’entrée, le témoin doit permettre d’examiner cet effet. Décrivez la transformation témoin avec la même précision que l’attaque et conservez son lien avec l’observation d’origine. Une comparaison devient alors vérifiable observation par observation.
Les recommandations de Carlini et ses coauteurs, version du 20 février 2019, demandent aussi de mesurer la performance sur les données ordinaires. Elles soulignent qu’une défense qui refuse certaines entrées doit être évaluée pour les conséquences de ces refus sur les données légitimes.
Le rapport proposé sépare ainsi les erreurs sur entrées ordinaires, les fausses alertes et les attaques réussies. Présentez les effectifs associés aux taux et maintenez le seuil retenu pendant la confirmation. Pour une direction métier, ces mesures rendent lisible le coût opérationnel de la protection : dossiers légitimes bloqués, contrôles supplémentaires et erreurs qui persistent sous attaque.
4. Comment comparer les défenses ?
Les défenses doivent être examinées sur des données comparables, avec les mêmes capacités adverses et des critères de décision explicites. Dans Scoring Without the Engine, déposé le 7 septembre 2026, le tableau 5 juxtapose des familles connues et inédites, et confronte le score à des méthodes de référence sans ajustement. Nous en retenons la structure comparative pour proposer une matrice de transfert de robustesse.
Cette matrice croise les familles d’attaque avec les versions de défense. Son en-tête indique les familles utilisées pendant le développement de chaque version. Chaque cellule décrit le résultat observé sous un protocole commun ; les mesures sur données ordinaires figurent à côté. Voici une trame à remplir après les essais, proposée par le cabinet.
| Ligne à renseigner | Version de référence | Version candidate |
|---|---|---|
| Chaque famille d’attaque, avec son opération et son intensité | Statut connu ou réservé pour cette version ; attaques réussies et effectif évalué | Statut connu ou réservé pour cette version ; attaques réussies et effectif évalué |
| Entrées ordinaires | Erreurs, fausses alertes et effectifs évalués | Erreurs, fausses alertes et effectifs évalués |
| Transformations témoins comparables | Résultats au seuil fixé | Résultats au seuil fixé |
Joignez les seuils retenus et les données de développement de chaque version. Documentez aussi les accès de l’adversaire, les informations dont il dispose et les moyens de recherche autorisés.
Un protocole commun doit laisser l’attaque s’adapter à chaque défense. Carlini et ses coauteurs, version du 20 février 2019, expliquent que réutiliser des attaques avec leurs paramètres par défaut peut produire une évaluation insuffisante. Les réglages des attaques doivent donc être documentés et leur efficacité examinée. Les paramètres de la défense restent, eux, fixés pendant la confirmation. Cette distinction permet de chercher activement ses faiblesses tout en conservant une version clairement identifiable du système évalué.
5. Comment interpréter un échec de transfert ?
Un échec sur une famille réservée délimite la portée de la défense évaluée. Il faut le rattacher au mécanisme et aux conditions qui l’ont produit. Dans Scoring Without the Engine, déposé le 7 septembre 2026, les auteurs constatent, dans les essais rapportés, que la détection par leur score ne se généralise pas aux familles de perturbations absentes de son ajustement. Ils précisent aussi que l’ensemble des attaques explorées reste non exhaustif.
La lecture proposée consiste à examiner la cellule en échec puis à revenir aux observations concernées. L’opération respecte-t-elle les capacités autorisées ? Le témoin a-t-il changé lui aussi ? Le dispositif de test applique-t-il bien la transformation prévue ? Ces vérifications orientent l’analyse vers une faiblesse de la défense, un changement de périmètre ou une erreur d’exécution à corriger.
Conservez les résultats par famille même si une moyenne globale est calculée. Une direction doit pouvoir repérer les conditions dans lesquelles l’usage envisagé devient discutable. L’équipe peut alors proposer une restriction du périmètre, une protection complémentaire ou une nouvelle conception à évaluer, avec une justification reliée aux observations.
Un succès sur les variantes de développement demeure une information sur ces variantes. La confirmation apporte des observations sur les attaques réservées effectivement exécutées. Le rapport doit nommer cet ensemble, les capacités adverses et la version du système : c’est ce périmètre documenté qui accompagne la décision de poursuivre l’usage.
6. Quand renouveler la campagne ?
Une revue est utile dès qu’un changement touche les conditions sur lesquelles repose la conclusion. Nous recommandons de la déclencher lors d’une modification de l’interface d’entrée, de la formule du score ou des capacités reconnues à l’adversaire. Il s’agit d’une règle de suivi proposée par le cabinet.
Son fondement est le lien entre menace et évaluation exposé par Carlini et ses coauteurs, version du 20 février 2019. Une attaque adaptée tient compte du fonctionnement de la défense. Les auteurs demandent de publier les attaques appliquées et leurs paramètres ; ils insistent également sur la disponibilité du code et du modèle effectivement évalués pour permettre la reproduction des résultats.
Dans le suivi proposé, chaque campagne conserve donc son inventaire, les versions exécutées et les décisions prises après lecture des résultats. Lorsqu’une famille a servi à corriger la défense, marquez-la comme connue. Gardez-la dans les vérifications de non-régression et préparez de nouvelles familles réservées pour examiner le transfert de la version suivante.
La revue commence par déterminer ce que le changement peut affecter. Une nouvelle interface peut modifier les entrées accessibles ; une formule révisée appelle un nouvel examen des seuils ; des moyens adverses différents changent le périmètre de résistance attendu. Le responsable de la validation peut ainsi justifier les essais à reprendre et identifier les conclusions antérieures encore applicables avant de présenter la décision au métier.
FAQ
Une dose supérieure est-elle hors distribution ?
Une intensité nouvelle peut rester dans la même famille d’opérations. Dans le protocole proposé, elle est consignée comme une variation d’intensité ; le statut de mécanisme inédit est réservé aux opérations absentes de l’ajustement. Le rapport doit aussi préciser si cette intensité respecte encore les limites fixées à l’adversaire.
Faut-il recalibrer le seuil sur les attaques de test ?
Le seuil reste fixé pendant la confirmation. Un changement décidé après lecture des résultats ouvre une nouvelle phase de développement, dont la version modifiée doit être identifiée. Cette organisation transpose la séparation entre sélection et test final retenue dans WILDS.
Une attaque inconnue doit-elle rester secrète ?
Sa nouveauté est relative à la conception de la défense. Réserver une famille à la confirmation sert à éviter que ses résultats orientent les réglages ; le rapport doit ensuite documenter les opérations et paramètres évalués. Cela rejoint la demande de reproductibilité formulée par Carlini et ses coauteurs.
Comment comparer deux défenses ?
Précisez un modèle de menace commun, des données comparables et les critères de réussite. Adaptez les attaques à chaque défense, puis exposez les résultats avec les erreurs sur entrées ordinaires. Des seuils numériques différents peuvent être nécessaires pour comparer les défenses à un même niveau de fausses alertes, choisi avant la confirmation.
Peut-on conclure à une robustesse générale ?
La conclusion reste attachée aux familles, aux données et aux capacités adverses évaluées. La réserve d’attaques inédites élargit le périmètre examiné, tout en laissant des mécanismes à explorer. Une décision d’usage doit conserver cette limite dans son compte rendu et prévoir les changements qui déclencheront une revue.
Pour aller plus loin
- Modèle de menace : définir ce qu’un attaquant peut changer dans un score
- Attaques combinées : vérifier les interactions entre manipulations d’un score
- Validation sur un domaine inédit : tenir à l’écart le domaine et les unités partagées
Sources
Notices et textes complets consultés le 9 octobre 2026.
- TW3 Partners, Elisha Bajemon et André-Louis Rochet, Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026 ; PDF.
- Nicholas Carlini et coauteurs, On Evaluating Adversarial Robustness, prépublication déposée sur arXiv le 18 février 2019, révisée le 20 février 2019 ; PDF.
- Pang Wei Koh et coauteurs, WILDS: A Benchmark of in-the-Wild Distribution Shifts, prépublication déposée sur arXiv le 14 décembre 2020, révisée le 16 juillet 2021 ; PDF.