Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 13 novembre 2026.
En bref
Une règle de score propre encourage un prévisionniste à annoncer les probabilités qu’il estime réellement, en lui donnant la meilleure note moyenne attendue. Une prévision probabiliste décrit les chances associées aux différentes valeurs possibles, ce qui permet au décideur de tenir compte de l’incertitude. Selon Gneiting et Raftery, dans le Journal of the American Statistical Association de mars 2007, la propriété devient stricte lorsque seule cette annonce atteint la meilleure note attendue. Cette notion aide à choisir une méthode d’évaluation qui récompense une estimation sincère. Elle porte sur une moyenne théorique, appelée espérance, et sur un ensemble défini de prévisions admissibles. La qualité effectivement observée des prévisions demande une évaluation complémentaire.
1. Que récompense une règle de score ?
Une règle de score attribue une note à une prévision lorsque le résultat réel devient connu. Dans leur article de mars 2007, Gneiting et Raftery font dépendre cette note de la distribution annoncée et de la valeur observée. Une distribution désigne ici la répartition des probabilités entre les issues possibles.
Il faut distinguer l’annonce, la réalisation et l’attente du prévisionniste. L’annonce est la distribution transmise pour évaluation. La réalisation est ce qui survient ensuite. L’attente correspond à la distribution que le prévisionniste juge appropriée avec les informations disponibles. La théorie examine quelle annonce lui procure le meilleur score moyen si les réalisations suivent cette dernière distribution.
Cette moyenne théorique est l’espérance du score. Elle permet d’étudier l’incitation créée avant de connaître l’issue. Une bonne note sur une observation isolée ne suffit donc pas à établir la propriété du critère : la définition compare les annonces sur l’ensemble des réalisations possibles, avec leurs probabilités.
Le sens de lecture doit également être explicite. Gneiting et Raftery présentent les scores comme des récompenses à maximiser. Une convention de perte exprime au contraire une erreur à minimiser. Pour un cahier des charges, nous recommandons d’écrire la formule et le sens d’optimisation ensemble. Deux équipes doivent pouvoir retrouver le même jugement à partir des mêmes prévisions et observations.
2. Quelle différence entre propre et strictement propre ?
Une règle propre rend l’annonce sincère optimale en espérance ; une règle strictement propre en fait l’unique optimum. La définition de Gneiting et Raftery, mars 2007, compare toutes les distributions annoncées à la distribution qui gouverne l’observation, au sein d’une classe admissible.
Avec une règle propre, annoncer une autre distribution ne peut améliorer la récompense attendue. Il peut toutefois exister une autre annonce qui obtienne exactement la même espérance. La stricte propriété exclut cette égalité entre distributions différentes. Elle donne donc une raison supplémentaire de restituer intégralement la distribution estimée.
La classe admissible fait partie de la définition. Elle précise les distributions auxquelles le résultat s’applique et les conditions nécessaires au calcul. Par exemple, les auteurs établissent la stricte propriété du CRPS pour les distributions sur la droite réelle dont le premier moment absolu est fini, autrement dit dont la valeur absolue a une moyenne finie. Le CRPS sera défini dans la comparaison ci-dessous.
Cette propriété concerne le critère d’évaluation. La calibration, définie dans le même article comme la cohérence statistique entre prévisions et observations, concerne leur confrontation aux résultats. Notre lecture pour une direction métier est de séparer les justificatifs : la preuve de propriété explique l’incitation, tandis que l’évaluation sur les données renseigne la qualité obtenue. Demander les deux évite de confondre une bonne règle de notation avec une prévision effectivement satisfaisante.
3. Pourquoi un score intuitif peut-il favoriser une mauvaise annonce ?
Un score peut récompenser une prévision trop concentrée si sa formule encourage à surestimer les issues déjà jugées les plus plausibles. Gneiting et Raftery, mars 2007, l’expliquent avec le score linéaire, qui récompense directement la densité annoncée à la valeur observée. La densité décrit comment la probabilité se répartit autour des valeurs possibles d’une grandeur continue.
Ce critère paraît naturel : accorder une bonne note lorsque la densité annoncée est élevée à la valeur observée. Les auteurs montrent pourtant qu’il incite à renforcer excessivement les sommets de la densité estimée. L’annonce peut alors obtenir un meilleur score attendu en déformant l’incertitude réellement évaluée.
Leur étude de cas météorologique illustre cette difficulté sur des prévisions de pression atmosphérique. Les auteurs font varier la dispersion des distributions prévues. Le score linéaire et un autre critère impropre, fondé sur la probabilité autour de l’observation, favorisent des prévisions presque déterministes. Les règles propres étudiées favorisent au contraire un élargissement des distributions, cohérent avec l’incertitude insuffisante de l’ensemble initial.
L’enseignement pour un acheteur porte sur la formule de notation. Avant de retenir un indicateur parce que son interprétation paraît immédiate, il est utile de demander ce qu’un prévisionniste aurait intérêt à annoncer pour l’optimiser. Cette question appartient à la conception du protocole ; elle ne suppose aucun comportement particulier d’un prestataire.
4. Comment situer score logarithmique et CRPS ?
Le score logarithmique et le CRPS évaluent une prévision probabiliste à partir de représentations différentes et réagissent différemment aux erreurs. Gneiting et Raftery, mars 2007, définissent le premier à partir de la densité à la valeur observée. Le second, dont le nom anglais est continuous ranked probability score, compare les probabilités cumulées de la prévision à l’observation, en parcourant les seuils possibles. Une probabilité cumulée exprime la chance de rester sous un seuil.
| Point de comparaison | Score logarithmique | CRPS |
|---|---|---|
| Objet utilisé | Densité à la valeur observée, ou probabilité de l’issue pour une variable discrète | Fonction de répartition, qui rassemble les probabilités cumulées |
| Sensibilité | Pénalisation forte d’une observation jugée très improbable | Écart entre probabilités cumulées et observation, sur tous les seuils |
| Convention à préciser | Logarithme comme récompense, ou son opposé comme perte | Récompense dans l’article de Gneiting et Raftery ; perte dans celui de Bracher et ses coauteurs |
Dans leur prépublication déposée sur arXiv le 26 mai 2020, révisée le 8 janvier 2021, Bracher et ses coauteurs expliquent que des quantiles seuls ne permettent pas de calculer le score logarithmique. Un quantile est une valeur repère associée à une probabilité cumulée donnée. Reconstituer une densité entre ces repères impose une interpolation ; au-delà des intervalles fournis, il faut aussi poser des hypothèses sur les extrémités de la distribution.
Le choix du format doit donc accompagner celui du score. Pour approfondir le second critère, voir CRPS : comment mesurer la qualité d’une distribution de prévision.
5. Une sélection multicritère conserve-t-elle cette propriété ?
Notre lecture est de distinguer la propriété d’un score de celle d’une procédure combinant critères et seuils. Cette distinction guide l’analyse de TW3Cast, prépublication de Thierry et Rochet déposée sur arXiv le 16 septembre 2026.
Le tournoi décrit dans cette étude utilise la MASE, une mesure d’erreur pour la prévision ponctuelle, et le CRPS comme critère probabiliste. Le texte précise que la mesure probabiliste employée sur le benchmark est une perte quantile pondérée, présentée comme une approximation discrète du CRPS. Le double critère vise notamment les candidats dont les quantiles seraient tous identiques et qui pourraient gagner sur la seule erreur ponctuelle.
La sélection comporte également une marge contre la mémorisation. Un candidat entraîné localement doit améliorer le score de sélection de plus de 12 % par rapport au meilleur candidat générique, sans dégrader le CRPS. Les écarts inférieurs à 3 % sont départagés par le CRPS. Lorsque la combinaison des deux plus grandes architectures du groupe se trouve dans une marge de 5 % du gagnant, elle est utilisée à sa place. Ces règles sont documentées dans la description du tournoi de TW3Cast, septembre 2026.
Les auteurs précisent que les constantes ont été choisies dans leur protocole de validation temporelle puis figées. Ils qualifient la protection de procédurale et signalent sa dépendance au benchmark. Nous en retenons qu’un dossier d’évaluation doit documenter séparément le score probabiliste et les règles qui déterminent finalement le modèle retenu.
6. Que préciser avant de demander des probabilités à un prestataire ?
Le cahier des charges doit rendre cohérents le format demandé, le calcul du score et les observations utilisées pour comparer les candidats. Les exigences suivantes constituent une proposition de méthode du cabinet, fondée sur les définitions de Gneiting et Raftery, mars 2007 et les limites de format étudiées par Bracher et ses coauteurs, version de janvier 2021.
- Définir la sortie attendue. Préciser si le livrable contient une distribution complète, des quantiles ou des intervalles centraux. Indiquer les niveaux demandés et les hypothèses autorisées pour passer d’un format à l’autre.
- Annoncer la règle avant l’évaluation. Fournir sa formule, son sens d’optimisation et la classe de distributions pour laquelle sa propriété est établie. Documenter toute transformation, ainsi que les règles de départage.
- Fixer la population comparée. Décrire les séries, les horizons et les observations retenues. Définir la pondération et les exclusions à l’avance pour rendre les comparaisons reproductibles.
- Traiter les cas manquants. Prévoir le traitement d’une prévision absente, d’un résultat indisponible et d’un calcul impossible. Conserver ces événements dans le compte rendu d’évaluation.
Bracher et ses coauteurs indiquent que la somme ou la moyenne de scores propres préserve la propriété. Ils conseillent aussi d’examiner les scores par horizon, car certains horizons peuvent peser davantage dans la moyenne. Dans notre proposition, le livrable associe donc le résultat agrégé à une lecture par périmètre. La direction dispose ainsi d’un critère annoncé et d’une explication de son application.
FAQ
Que récompense une règle de score ?
Elle évalue la distribution annoncée une fois le résultat connu. Selon Gneiting et Raftery, mars 2007, l’incitation se lit dans le score attendu sous la distribution estimée, avec une convention de récompense à maximiser ou de perte à minimiser.
Quelle différence entre propre et strictement propre ?
Une règle propre rend l’annonce sincère optimale en espérance. La stricte propriété ajoute l’unicité de cet optimum sur la classe de distributions considérée, selon la définition de Gneiting et Raftery, mars 2007.
Pourquoi un score intuitif peut-il favoriser une mauvaise annonce ?
Sa formule peut avantager une distribution artificiellement concentrée. Gneiting et Raftery, mars 2007, montrent cette incitation pour le score linéaire et l’illustrent dans leur étude météorologique.
Comment situer score logarithmique et CRPS ?
Le score logarithmique utilise la densité ou la probabilité de l’issue observée ; le CRPS utilise les probabilités cumulées. Bracher et ses coauteurs, version de janvier 2021, soulignent que des scores adaptés aux intervalles permettent d’évaluer les quantiles fournis. Le calcul direct du score logarithmique exige davantage d’information.
Une sélection multicritère conserve-t-elle cette propriété ?
Une procédure de sélection nécessite sa propre analyse. TW3Cast, septembre 2026, combine erreur ponctuelle, critère probabiliste, marges et départages : notre lecture consiste à examiner ces choix séparément de la propriété théorique du score.
Pour aller plus loin
- CRPS : comment mesurer la qualité d’une distribution de prévision.
- Weighted interval score : distinguer largeur des intervalles et erreurs de couverture.
- Moyenne ou médiane : quelle valeur centrale votre métrique demande-t-elle ?.
Sources
- American Statistical Association, Gneiting et Raftery, Strictly Proper Scoring Rules, Prediction, and Estimation, mars 2007, consulté le 9 octobre 2026.
- ArXiv, Bracher et ses coauteurs, Evaluating epidemic forecasts in an interval format, prépublication déposée le 26 mai 2020, version du 8 janvier 2021, consulté le 9 octobre 2026 ; texte intégral.
- ArXiv, Thierry et Rochet, TW3Cast: A Frozen Router of Lightly Fine-Tuned Foundation Models for Time-Series Forecasting on GIFT-Eval, Selected Entirely on the Training Split, prépublication déposée le 16 septembre 2026, consulté le 9 octobre 2026 ; texte intégral.