Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 17 novembre 2026.
En bref
Pour fixer un seuil de détection, définissez les cas normaux et la règle d’alarme, puis rapportez les fausses alarmes au nombre de cas normaux examinés. Ce choix permet au responsable métier d’évaluer les contrôles inutiles que son équipe devra traiter. Un seuil est la limite à partir de laquelle le système déclenche une alerte. Dans Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026 par les auteurs de TW3, cette limite est réglée sur les seuls cas réputés normaux, avec une cible de fausses alarmes de 5 %. TW3 recommande de compléter cette démarche par une vérification sur des observations indépendantes et une mesure de l’incertitude. Le livrable attendu est une règle de décision documentée, accompagnée du taux constaté et des conditions qui justifieraient son réexamen.
1. Que compte un taux de faux positifs ?
Le taux de faux positifs mesure la part des cas normaux qui déclenchent une alarme. Un faux positif désigne donc un cas classé à tort comme anormal. Il faut connaître le statut réel des observations pour établir ce comptage.
La documentation de scikit-learn sur les mesures de classification, sans date de publication affichée, définit ce taux à partir des faux positifs et des vrais négatifs, c’est-à-dire des cas normaux correctement laissés sans alerte. Elle définit aussi la précision, proportion de détections justifiées parmi les alertes. Ces mesures répondent à des questions distinctes :
| Mesure | Ce que l’on compte | Dénominateur |
|---|---|---|
| Taux de faux positifs | Cas normaux signalés à tort | Ensemble des cas normaux |
| Proportion d’alarmes injustifiées | Cas normaux signalés à tort | Ensemble des alertes |
| Sensibilité, aussi appelée rappel | Cas anormaux effectivement signalés | Ensemble des cas anormaux |
La proportion d’alarmes injustifiées est le complément de la précision. Elle renseigne sur le travail de vérification des alertes ; le taux de faux positifs renseigne sur le traitement des cas normaux. Leur numérateur est identique, mais leur dénominateur diffère. Chaque proportion suppose que son dénominateur soit non nul.
Pour appliquer ces définitions, notre recommandation est de rédiger une règle d’étiquetage avant de régler le seuil : quelle observation constitue un cas, qui décide de sa normalité et comment traiter les situations ambiguës ? Conservez les effectifs derrière chaque proportion. Une ligne intitulée « fausses alarmes » doit préciser la population comptée pour permettre une décision.
2. Quel échantillon utiliser pour fixer le seuil ?
Le groupe de calibration doit réunir les cas normaux sur lesquels la contrainte de fausses alarmes doit porter. La calibration désigne ici le choix du seuil à partir de leurs scores, c’est-à-dire des valeurs calculées par le détecteur pour chaque observation.
Dans la prépublication TW3 du 7 septembre 2026, la description du protocole de détection conserve dans la classe normale les documents non modifiés ainsi que leurs variantes allongées par des ajouts neutres. Cette construction inclut les accroissements bénins du volume dans le contrôle des fausses alarmes. Les comparaisons avec les attaques emploient des témoins neutres dont la longueur est appariée.
L’adaptation proposée par le cabinet consiste à dresser, avec le métier, la liste des variations admissibles : formats de saisie autorisés, longueurs habituelles ou conditions d’acquisition acceptées. Ces catégories constituent des éléments à définir pour le projet, sans présumer de leurs effets sur le détecteur. Conservez leur étiquette normale pendant l’analyse, y compris lorsque leur score semble inhabituel. Les retirer sur ce seul critère modifierait la population utilisée pour régler la limite.
Réservez ensuite des observations pour la confirmation. La documentation scikit-learn sur le réglage du seuil, sans date de publication affichée, avertit du risque de surajustement lorsque les mêmes données servent à entraîner le classificateur et à régler sa décision. Dans le protocole proposé ici, la séparation couvre aussi le réglage du seuil et son contrôle final.
3. Comment choisir une règle de seuil ?
Choisissez le sens de l’alarme, la position du seuil et le traitement des égalités avant de consulter le jeu de confirmation. La documentation scikit-learn sur le seuil de décision distingue le calcul d’un score de la décision prise à partir de ce score. Le réglage doit donc refléter l’exigence du métier.
Pour cette adaptation, partez d’une convention explicite : un score élevé traduit-il une anomalie, ou faut-il au contraire surveiller les valeurs faibles ? Classez les scores des cas normaux dans ce sens. Pour examiner les seuils candidats, comptez les alarmes produites sur ces observations par chaque règle envisagée, puis comparez leur proportion à la cible fixée. Conservez le détail de ce comptage avec le seuil retenu.
Le traitement des égalités fait partie de ce comptage. La documentation scikit-learn de la courbe ROC compte ainsi comme positives les observations dont le score est supérieur ou égal au seuil. Dans la méthode proposée ici, documentez le signe de comparaison et conservez-le pendant le contrôle indépendant. Si les valeurs disponibles empêchent d’atteindre exactement la proportion visée, retenez une règle conforme à la contrainte et indiquez la proportion obtenue.
La fiche de réglage peut réunir la version du calcul de score, la population de calibration, la cible de fausses alarmes, le seuil et sa convention d’égalité. La cible constitue une exigence de conception. Le taux mesuré sur ce groupe reste une observation à confirmer dans les conditions prévues d’utilisation.
4. Comment vérifier le taux sur un nouveau jeu ?
Appliquez la règle figée à un jeu indépendant de cas normaux, puis rapportez le nombre de fausses alarmes à l’effectif examiné. Consignez les observations utilisées et leur statut pour rendre le calcul reproductible.
La documentation SciPy de binomtest, sans date de publication affichée, décrit un test binomial et donne accès à un intervalle de confiance sur une proportion. Pour notre application, l’événement compté est une fausse alarme et chaque essai correspond à un cas normal. La documentation de proportion_ci propose notamment la méthode exacte de Clopper-Pearson. Le niveau de confiance et la méthode choisis doivent accompagner le résultat.
Ce complément reprend les hypothèses binomiales décrites par le NIST : des observations indépendantes et une probabilité de fausse alarme commune dans la population étudiée. Le NIST, dans sa présentation de la loi binomiale sans date affichée, précise que la probabilité reste fixe entre les essais. Des répétitions liées au même dossier appellent donc un examen de l’unité d’observation avant d’utiliser cet intervalle.
Sous ce modèle, une série finie sans fausse alarme reste compatible avec une probabilité positive : la formule binomiale du NIST permet cette issue. Un taux observé nul conserve ainsi une incertitude. Pour décider, comparez la borne supérieure de l’intervalle à l’exigence retenue, selon une règle convenue avant le test. Si le contrôle conduit à modifier le seuil, prévoyez de nouvelles données de confirmation.
5. Que rapporter sur les attaques ?
Rapportez la proportion d’attaques détectées au seuil effectivement retenu, en distinguant les familles d’attaque. Cette sensibilité décrit le fonctionnement du détecteur au réglage choisi.
Dans la prépublication TW3 du 7 septembre 2026, le tableau consacré aux attaques connues présente séparément l’aire sous la courbe ROC et la détection au seuil fixé. La ROC est la courbe qui met en relation le taux de détection et le taux de faux positifs lorsque le seuil varie. Son aire, appelée AUC, résume cette courbe. La documentation scikit-learn définit la courbe ROC et son aire.
La distinction compte pour la lecture du rapport : l’AUC couvre plusieurs réglages possibles, alors que la sensibilité au seuil décrit celui qui sera appliqué. Présentez les effectifs attaqués et détectés à côté de cette sensibilité. Ajoutez la courbe complète pour situer ce résultat parmi les autres compromis accessibles.
L’adaptation proposée consiste aussi à séparer les familles utilisées lors du développement et celles réservées à l’évaluation. Le protocole TW3 distingue effectivement les attaques appartenant au périmètre initial et celles qui en sortent. Dans votre rapport, gardez cette distinction et nommez chaque famille testée. Si les contrôles normaux associés diffèrent entre familles, indiquez leur composition : le lecteur doit pouvoir identifier les populations comparées avant de rapprocher leurs résultats. Une moyenne générale peut compléter ces lignes lorsque sa pondération est explicitée.
6. Quand faut-il recalibrer ?
Réexaminez le seuil lorsque la population normale change, que le calcul du score évolue ou que le métier modifie son exigence de fausses alarmes. Ces déclencheurs constituent une proposition de gouvernance du cabinet.
La documentation scikit-learn sur le réglage du seuil rappelle qu’un classificateur déjà entraîné doit être réglé sur un nouveau jeu de validation lorsqu’on utilise l’option cv="prefit". Elle montre aussi qu’un changement de seuil peut modifier les décisions tout en conservant les mêmes scores et les mêmes courbes ROC et précision-rappel. La version de la règle de décision mérite donc son propre suivi.
En pratique, décrivez d’abord le changement observé. Une nouvelle population normale demande de revoir les cas admis et la composition de l’échantillon. Une modification du calcul de score appelle un nouveau relevé de ses valeurs. Une exigence métier révisée conduit à rechercher un autre compromis, même si le modèle reste identique.
Conservez l’ancienne règle et la proposition révisée avec leurs justifications. Le dossier de validation doit permettre de retrouver les données de calibration, le comptage des alarmes et les résultats du contrôle indépendant. Réservez les données de confirmation avant de comparer des variantes de seuil. La décision de mise en service peut alors s’appuyer sur la borne d’incertitude retenue, les performances par famille et la population couverte. Un responsable nommé arbitre l’acceptation du réglage et les conditions de son prochain examen.
FAQ
FPR et fausses découvertes sont-ils identiques ?
Le FPR est le taux de faux positifs parmi les cas normaux. La proportion de fausses découvertes rapporte les alertes injustifiées à toutes les alertes, selon les dénominateurs définis par scikit-learn. Précisez celui utilisé dans le rapport ; en l’absence d’alerte, cette dernière proportion demande une convention de calcul.
Zéro alarme implique-t-il un taux nul ?
Sur un jeu composé de cas normaux, aucune alarme donne un taux observé nul. Sous les hypothèses binomiales, un échantillon fini laisse néanmoins une incertitude sur la probabilité réelle. Rapportez l’effectif et l’intervalle avec ce constat, en conservant le niveau de confiance choisi avant l’évaluation.
Peut-on utiliser les attaques pour choisir le seuil ?
Le protocole TW3 présenté fixe le seuil sur les seuls cas réputés normaux. Les attaques servent ensuite à mesurer la détection à cette limite. Optimiser directement une performance sur des attaques constituerait un autre protocole, dont les données de confirmation devraient rester réservées.
Comment traiter une égalité au seuil ?
Écrivez explicitement si une valeur égale au seuil déclenche l’alarme. Cette convention fait partie de la méthode proposée ici et s’applique dès le recomptage sur la calibration. Conservez-la pour le contrôle indépendant, afin que le résultat corresponde à la règle prévue en service.
Une AUC élevée suffit-elle ?
L’AUC résume une courbe obtenue en faisant varier le seuil. Le réglage retenu demande une mesure propre de la sensibilité et du taux de faux positifs. Présentez ces mesures avec leurs populations d’évaluation pour permettre au métier d’apprécier le compromis réellement appliqué.
Pour aller plus loin
- ROC ou précision-rappel : quelle courbe lire quand les événements sont rares ?
- Moyenner des corrélations par groupe : quelle population représente le résultat ?
- Test de Mann-Whitney : comparer deux distributions de scores sans confondre les hypothèses
Sources
- TW3 Partners, Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, consulté le 9 octobre 2026. Texte intégral PDF, consulté le 9 octobre 2026.
- scikit-learn, Metrics and scoring: quantifying the quality of predictions, documentation sans date, consulté le 9 octobre 2026.
- scikit-learn, Tuning the decision threshold for class prediction, documentation sans date, consulté le 9 octobre 2026.
- SciPy, scipy.stats.binomtest, documentation sans date, consulté le 9 octobre 2026.
- SciPy, BinomTestResult.proportion_ci, documentation sans date, consulté le 9 octobre 2026.
- NIST, Binomial Distribution, sans date, consulté le 9 octobre 2026.
- scikit-learn, roc_curve, documentation sans date, consulté le 9 octobre 2026.
- NIST, Proportions Control Charts, sans date, consulté le 9 octobre 2026.