Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 17 novembre 2026.
En bref
Quand les événements sont rares, lire la part d’alertes justifiées aide à décider si leur traitement sera utile. Cette part s’appelle la précision ; le rappel mesure la part des événements effectivement repérés, et le taux de faux positifs rapporte les fausses alertes aux cas sans événement. Dans une simulation publiée par Saito et Rehmsmeier dans PLOS ONE, le 4 mars 2015, les mêmes taux de détection et de faux positifs correspondent à 160 ou 1 600 fausses alertes selon la composition du jeu évalué. La courbe qui rapproche précision et rappel rend visible cette différence dans la part d’alertes justifiées. Pour choisir un seuil d’alerte, il faut examiner les résultats à ce seuil en plus du bilan global. TW3 recommande de réunir les courbes, la proportion d’événements et les effectifs de détection dans un même dossier de décision.
1. Que représentent les axes des deux courbes ?
La ROC compare détection et fausses alertes ; la courbe précision-rappel compare couverture des événements et fiabilité des alertes. Pour les lire, il faut d’abord préciser ce qui constitue un événement dans l’évaluation.
La documentation de scikit-learn, sans date de publication affichée, définit la précision et le rappel à partir des prédictions confrontées aux observations. Un vrai positif est un événement correctement signalé. Un faux positif est une alerte sur un cas sans événement ; un faux négatif est un événement manqué. Un vrai négatif est un cas sans événement correctement écarté.
| Mesure | Numérateur | Dénominateur | Place dans les courbes |
|---|---|---|---|
| Rappel, aussi appelé sensibilité | Événements correctement signalés | Tous les événements réels | Axe vertical de ROC, horizontal de précision-rappel |
| Taux de faux positifs | Cas sans événement signalés à tort | Tous les cas sans événement | Axe horizontal de ROC |
| Précision | Événements correctement signalés | Toutes les alertes émises | Axe vertical de précision-rappel |
Le seuil est la valeur qui sépare les résultats du détecteur déclenchant une alerte des autres résultats, selon la règle de décision retenue. En faisant varier ce seuil, on obtient les points des courbes. La documentation décrit ce calcul à partir des étiquettes réelles et des valeurs produites par le classificateur.
Chaque dénominateur correspond donc à une question de gestion différente. Le rappel renseigne sur les événements manqués. Le taux de faux positifs renseigne sur les cas ordinaires signalés à tort. La précision renseigne sur ce que l’équipe trouvera parmi les alertes à examiner. Pour un comité de décision, conservez ces dénominateurs dans la légende afin de distinguer la part d’alertes justifiées de la couverture des événements.
2. Pourquoi la prévalence change-t-elle la précision ?
La précision dépend de la proportion d’événements dans la population évaluée, appelée prévalence. Les taux utilisés par ROC se calculent, eux, séparément dans chaque classe.
Dans leur étude de 2015, Saito et Rehmsmeier montrent que la lecture des courbes change lorsque les cas négatifs deviennent plus nombreux. À rappel et taux de faux positifs identiques, davantage de cas sans événement apportent davantage de fausses alertes. Si le nombre d’événements reste inchangé, la proportion d’alertes justifiées diminue.
La condition est essentielle : ce raisonnement maintient les taux de détection dans chaque classe. Il décrit un changement de composition de la population, sans supposer une modification du comportement du détecteur à l’intérieur de chaque classe. Il ne suffit donc pas de constater un déséquilibre différent pour affirmer que les ROC de jeux collectés séparément seront identiques.
Les auteurs établissent aussi que la ligne de référence d’un classificateur aléatoire dans l’espace précision-rappel dépend de la proportion de positifs. Un niveau de précision doit ainsi se lire avec la composition du jeu sur lequel il a été mesuré.
Pour une évaluation métier, notre recommandation est de faire figurer la prévalence du jeu de test à côté de la précision. Si le jeu a été rééquilibré, indiquez comment les cas ont été sélectionnés. La précision mesurée décrit d’abord ce jeu ; son transfert à un autre flux demande d’expliciter les hypothèses sur sa composition et sur la stabilité des performances par classe.
3. Que résume une aire sous courbe ?
Une aire sous courbe condense le comportement du détecteur sur plusieurs seuils en une valeur globale. Elle facilite une comparaison, mais le choix d’un seuil demande une lecture plus locale.
La documentation scikit-learn, sans date de publication affichée distingue l’aire sous ROC, calculée par roc_auc_score, et la précision moyenne, ou average precision, calculée par average_precision_score. Cette dernière pondère les valeurs de précision par les accroissements correspondants du rappel. Son calcul suit donc une convention précise.
La même documentation précise que cette implémentation de la précision moyenne n’interpole pas entre les points. Une aire précision-rappel obtenue par la règle des trapèzes repose, elle, sur une interpolation linéaire. Celle-ci peut produire une estimation trop optimiste de la performance. Les intitulés « AP » et « aire PR » demandent par conséquent une définition avant toute comparaison entre rapports.
Pour la ROC, un résumé global peut également masquer la zone réellement utilisable. La documentation prévoit une aire partielle limitée par un taux maximal de faux positifs, utile lorsque les taux élevés sont incompatibles avec l’application. Ce choix doit être annoncé dans le protocole.
En pratique, demandez le nom de la fonction de calcul et son paramétrage avec le résultat. Faites ensuite repérer les seuils candidats sur la courbe. Si l’exploitation impose peu de fausses alertes, la comparaison doit porter explicitement sur cette zone et sur les événements qui y sont effectivement détectés.
4. Quels résultats l’étude primaire établit-elle ?
L’étude montre comment le déséquilibre peut rendre la lecture de ROC insuffisante pour juger les alertes reçues. Elle combine des simulations et une réanalyse de classificateurs appliqués à un problème de biologie.
Dans PLOS ONE, le 4 mars 2015, Saito et Rehmsmeier décrivent des simulations comportant 1 000 positifs et 1 000 négatifs dans le cas équilibré, contre 1 000 positifs et 10 000 négatifs dans le cas déséquilibré. Les valeurs simulées proviennent de distributions choisies pour représenter plusieurs profils de classement, notamment la capacité à retrouver des positifs parmi les premiers résultats.
Un point présenté dans leurs résultats correspond à 500 vrais positifs dans les deux compositions. Il s’accompagne de 160 faux positifs dans le jeu équilibré, contre 1 600 dans le jeu déséquilibré. La ROC conserve les mêmes coordonnées, tandis que la composition des alertes se dégrade. Ces nombres appartiennent à la simulation publiée.
Les auteurs montrent également des profils dont l’aire sous ROC est identique alors que leur performance parmi les premiers résultats diffère. Leur réanalyse d’un problème de découverte de gènes confirme l’intérêt d’examiner les régions de courbe utiles et la précision associée.
La portée à retenir concerne donc l’interprétation : précision-rappel expose une dimension opérationnelle que les coordonnées de ROC expriment moins directement. Le choix d’une mesure dépend de la question posée, de la composition des données et de la zone dans laquelle le détecteur sera utilisé.
5. Comment lire les tableaux TW3 sous cet angle ?
Les tableaux TW3 permettent de distinguer la séparation globale des classes et la détection obtenue avec une contrainte de fausses alertes. C’est cet élément de méthode qui est repris ici.
Dans Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, Elisha Bajemon et André-Louis Rochet présentent un banc de détection de modifications de documents. Le tableau 4 du texte intégral rapporte une aire sous courbe contre un contrôle neutre de volume comparable, ainsi qu’un taux de détection au seuil fixé à 5 % de faux positifs sur le groupe considéré comme non attaqué. Ce groupe comprend les documents d’origine et leurs variantes enrichies de texte neutre ; il se distingue du contrôle neutre de volume comparable utilisé pour calculer l’aire.
La distinction porte sur la question à laquelle chaque colonne répond. L’aire renseigne sur la séparation entre documents soumis à une modification ciblée et témoins enrichis de texte neutre dans la comparaison considérée. La détection au seuil fixé renseigne sur les modifications repérées une fois la contrainte de fausses alertes appliquée. Ces lectures se complètent pour comprendre le fonctionnement mesuré.
Le tableau 5 élargit la comparaison à des modifications appartenant aux familles étudiées et à des modifications extérieures à celles-ci. Il compare les aires obtenues avec des détecteurs de référence. La nature des modifications doit donc accompagner la lecture de chaque résultat.
L’adaptation proposée pour un détecteur métier consiste à présenter de même le résultat global, le résultat au seuil choisi et le périmètre du test. Une estimation de la précision en exploitation demanderait en plus la composition du flux opérationnel : les proportions d’un banc construit pour comparer des classes ne suffisent pas à l’établir.
6. Quel tableau de résultats demander ?
Le dossier doit relier chaque seuil candidat aux événements détectés, aux événements manqués et aux fausses alertes qu’il produit sur un jeu décrit.
La documentation scikit-learn, sans date de publication affichée fournit les éléments de calcul : courbes obtenues en variant le seuil et matrice de confusion confrontant classes observées et prédites. Cette matrice restitue les effectifs derrière les taux. L’étude de Saito et Rehmsmeier, PLOS ONE, 4 mars 2015 justifie d’y joindre la composition des classes.
À partir de ces appuis, TW3 recommande le format de restitution suivant :
| Élément demandé | Lecture attendue |
|---|---|
| Population évaluée et effectifs par classe | Identifier la population à laquelle les résultats se rapportent |
| Prévalence et éventuel rééquilibrage | Situer la précision dans la composition du jeu |
| ROC et précision-rappel | Examiner les compromis sur les seuils |
| Mesure globale et convention de calcul | Comparer des résultats calculés de la même façon |
| Seuils candidats et matrice de confusion | Retrouver les volumes d’alertes et les événements manqués |
| Rappel, précision et taux de faux positifs à chaque seuil | Relier le choix du seuil aux conséquences observées |
Ajoutez au dossier la contrainte que le métier souhaite examiner : charge de traitement des alertes ou couverture des événements, par exemple. Le décideur peut alors demander une comparaison centrée sur les seuils compatibles avec cette contrainte. Il est utile de conserver les effectifs à côté des pourcentages pour rendre la discussion concrète.
Le sujet du choix de seuil est abordé dans la fiche sœur Fixer un seuil de détection sous contrainte de faux positifs.
FAQ
Une ROC change-t-elle avec la prévalence ?
Un changement de proportion des classes laisse les coordonnées ROC inchangées si les distributions des valeurs produites dans chaque classe sont conservées. C’est le type de comparaison présenté dans les simulations de Saito et Rehmsmeier, PLOS ONE, 4 mars 2015. Sur des populations dont les caractéristiques changent aussi, cette invariance doit être vérifiée.
Pourquoi une bonne AUC peut-elle décevoir ?
L’AUC, ou aire sous courbe, résume une plage de seuils. Le seuil compatible avec l’exploitation peut se situer dans une région où la détection est insuffisante. L’étude de Saito et Rehmsmeier, PLOS ONE, 4 mars 2015 montre notamment que des aires ROC identiques peuvent accompagner des performances différentes parmi les premiers résultats.
AP et aire PR sont-elles interchangeables ?
La précision moyenne et une aire précision-rappel calculée par trapèzes suivent des conventions différentes. La documentation scikit-learn, sans date de publication affichée, précise que son calcul d’AP n’interpole pas entre les points. Pour comparer des rapports, demandez la fonction utilisée et la convention retenue.
Peut-on comparer des jeux différemment équilibrés ?
Oui, en explicitant leur composition et les hypothèses de comparaison. La précision dépend de la proportion de positifs, comme le rappelle l’étude de Saito et Rehmsmeier, PLOS ONE, 4 mars 2015. Sa variation peut donc traduire une différence de population autant qu’une différence de détecteur.
Quelle courbe remettre au décideur ?
Présentez les courbes avec les seuils candidats repérés et leurs effectifs de détection. Pour juger la fiabilité des alertes, la précision-rappel apporte une lecture directe ; pour examiner la contrainte de faux positifs, la ROC complète cette lecture. La décision porte ensuite sur un point de fonctionnement et une population définis.
Pour aller plus loin
- Fixer un seuil de détection sous contrainte de faux positifs
- Test de Mann-Whitney : comparer deux distributions de scores sans confondre les hypothèses
- Détection de défauts industriels : lire une évaluation MVTec AD à deux niveaux
Sources
- Saito et Rehmsmeier, PLOS ONE, The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets, 4 mars 2015, consulté le 9 octobre 2026.
- Scikit-learn, Metrics and scoring: quantifying the quality of predictions, documentation sans date de publication affichée, consulté le 9 octobre 2026.
- Bajemon et Rochet, Scoring Without the Engine, prépublication déposée sur arXiv le 7 septembre 2026, consulté le 9 octobre 2026 ; texte intégral en PDF, consulté le 9 octobre 2026.