Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 12 novembre 2026.

En bref

Le CRPS mesure la qualité des probabilités annoncées par une prévision en les confrontant au résultat observé. Il aide à comparer les modèles dont les prévisions doivent éclairer une décision soumise à l’incertitude. Selon Gneiting et Raftery, dans leur article de 2007, il examine toute la répartition des valeurs possibles et conserve l’unité de la grandeur prévue. Avec la convention de perte retenue ici, une valeur plus faible est préférable. Son calcul peut utiliser des simulations ou des quantiles, c’est-à-dire des seuils associés aux probabilités annoncées. Pour lire une comparaison, il faut distinguer le score brut, son approximation et sa version normalisée, puis examiner séparément l’accord entre probabilités annoncées et fréquences observées.

1. Quel objet le CRPS compare-t-il à l’observation ?

Le CRPS compare une fonction de répartition prévisionnelle à la fonction en marche d’escalier associée au résultat observé. Une fonction de répartition, notée F, donne pour chaque seuil z la probabilité que la grandeur prévue soit inférieure ou égale à ce seuil. Une distribution prévisionnelle décrit ainsi comment les probabilités se répartissent entre les valeurs possibles.

Dans Gneiting et Raftery, 2007, la définition prend initialement le signe d’une récompense à maximiser. Les auteurs explicitent ensuite le changement de signe pour obtenir une perte à minimiser. C’est cette dernière convention qui s’écrit, pour une observation y :

CRPS(F, y) = ∫ [F(z) − 𝟙{z ≥ y}]² dz, sur l’ensemble des seuils réels.

La fonction indicatrice vaut zéro avant le seuil y et un à partir de ce seuil. Le calcul élève au carré l’écart entre les fonctions, puis l’additionne continûment sur les seuils. Il porte donc sur des probabilités cumulées ; une hauteur de densité n’intervient pas dans cette définition.

Cette lecture précise l’objet évalué : l’ensemble de la prévision probabiliste confronté à une réalisation. Elle évite de réduire l’évaluation à la seule valeur centrale fournie par le modèle. Pour un rapport destiné à la direction, TW3 recommande d’indiquer dès la première occurrence du score la convention retenue : « CRPS, perte à minimiser ».

2. Pourquoi le score conserve-t-il l’unité de la cible ?

Le CRPS brut conserve l’unité de la cible parce qu’il peut s’exprimer à partir de distances entre valeurs de cette cible. La représentation donnée par Gneiting et Raftery en 2007, après changement de signe, est :

CRPS(F, y) = E|X − y| − ½ E|X − X′|.

X et X′ sont des tirages indépendants de la même distribution F ; E désigne une moyenne théorique, appelée espérance. Cette représentation suppose que la moyenne des valeurs absolues de la distribution soit finie. Le premier terme mesure l’écart moyen à l’observation. Le second fait intervenir la dispersion interne de la prévision, avec un coefficient d’un demi.

Lorsque toute la probabilité est placée sur une seule valeur prévue, les tirages coïncident. Leur distance mutuelle s’annule et le score devient l’erreur absolue entre cette valeur et l’observation. Le CRPS permet ainsi d’évaluer dans un même cadre des prévisions déterministes et probabilistes.

La normalisation ajoute une opération distincte. Dans l’annexe de GIFT-Eval d’Aksu et ses coauteurs, version de novembre 2024, les pertes quantiles sont divisées par la somme des observations en valeur absolue. Cette opération produit une mesure sans unité. En lecture de résultats, il est donc utile de demander le dénominateur exact : un score normalisé ne se lit plus comme un écart exprimé dans l’unité métier.

3. Comment partir d’un ensemble de simulations ?

Un ensemble de simulations permet de remplacer les moyennes théoriques par des moyennes calculées sur les valeurs disponibles. Le calcul décrit ici est une application algébrique de la représentation de Gneiting et Raftery, 2007. Pour le reproduire, nous proposons de conserver les simulations jusqu’à l’évaluation.

Pour des simulations auxquelles on attribue le même poids, le calcul suit directement la formule précédente. On calcule la moyenne des distances absolues entre chaque simulation et l’observation. On lui retranche la moitié de la moyenne des distances absolues entre toutes les paires ordonnées de simulations, en incluant les paires d’une valeur avec elle-même. Cette procédure calcule le CRPS de la distribution empirique : celle qui place une masse égale sur chaque valeur simulée.

Cette égalité concerne la distribution empirique. Lorsqu’elle représente une distribution théorique par un échantillon limité, le score obtenu constitue une approximation du score de cette dernière. La distinction doit rester visible dans le compte rendu.

Notre proposition de méthode consiste à conserver, pour chaque évaluation, l’observation, les simulations correspondantes, leur nombre et leur éventuelle pondération. Le rapprochement doit porter sur la même série, la même date de prévision et le même horizon. Si seule la moyenne des simulations est archivée, le terme de dispersion nécessaire au calcul n’est plus disponible. Le nombre de simulations et la règle de pondération font donc partie de la description du résultat remis au décideur.

4. Comment l’approximation par quantiles fonctionne-t-elle ?

L’approximation par quantiles remplace une intégrale sur les niveaux de probabilité par une somme sur les niveaux disponibles. Dans leur prépublication déposée sur arXiv le 26 mai 2020 et révisée en janvier 2021, Bracher et ses coauteurs établissent le lien entre le score quantile et le CRPS. L’annexe du texte complet donne l’identité suivante :

CRPS(F, y) = 2 ∫ ρτ(y − qτ) dτ, de zéro à un.

qτ est le quantile prévu au niveau τ. La perte dite « pinball », notée ρτ, pondère différemment un écart positif et un écart négatif selon ce niveau. Le facteur deux appartient à la convention utilisée ici : chez Bracher et ses coauteurs, il est déjà inclus dans le score quantile nommé QS. Il faut donc vérifier la définition de la fonction appelée avant de multiplier son résultat.

Une grille finie remplace l’intégrale par une approximation. Les auteurs décrivent le rapprochement avec le CRPS pour de nombreux niveaux approximativement équidistants couvrant l’intervalle des probabilités. Nous proposons donc de préciser les niveaux retenus, y compris aux extrémités, dans toute comparaison fondée sur une grille finie.

Dans leur prépublication TW3Cast déposée sur arXiv le 16 septembre 2026, Thierry et Rochet utilisent les neuf déciles. Le texte complet de TW3Cast décrit le calcul de sélection comme une moyenne de pertes pinball. L’annexe de GIFT-Eval, version de novembre 2024, détaille pour sa part le facteur deux et la normalisation par les observations. Ces descriptions imposent de documenter chaque convention avant de rapprocher leurs valeurs numériques.

5. Un bon CRPS démontre-t-il la calibration ?

Un bon CRPS renseigne sur la qualité probabiliste globale ; la calibration demande un diagnostic spécifique. Dans Gneiting et Raftery, 2007, la calibration désigne l’accord statistique entre les distributions annoncées et les observations. La concentration, ou « sharpness », décrit le resserrement des distributions prévisionnelles et dépend des prévisions seules.

Les auteurs proposent de rechercher des distributions concentrées sous contrainte de calibration. La distinction compte pour interpréter une comparaison : une prévision étroite peut être séduisante pour décider, mais son évaluation doit aussi confronter les probabilités annoncées à ce qui se réalise. Un score global résume la prévision sans isoler à lui seul chacune de ces propriétés.

La prépublication TW3Cast de Thierry et Rochet, septembre 2026, le reconnaît dans sa discussion des limites : son critère associe une mesure d’erreur ponctuelle et le CRPS, sans constituer une sélection dédiée à la calibration. La couverture des intervalles reste à examiner séparément dans ce protocole.

Pour une revue de modèle, TW3 recommande de présenter le score global à côté d’un contrôle de couverture : vérifier la fréquence à laquelle les observations tombent dans les intervalles annoncés. L’étude de Gneiting et Raftery distingue précisément ce contrôle de l’évaluation par un score d’intervalle. Le rapport peut ainsi séparer la comparaison synthétique des modèles et l’examen des probabilités utiles à la décision.

6. Que demander dans un rapport de comparaison ?

Un rapport exploitable doit permettre de reconstituer le score à partir des prévisions conservées. La documentation officielle de GluonTS, sans date éditoriale affichée, expose la classe MeanWeightedSumQuantileLoss. Son code source documenté calcule une moyenne de pertes quantiles pondérées ; chaque perte agrégée est divisée par la somme des observations en valeur absolue.

À partir de ces conventions, nous proposons de joindre au résultat la fiche de calcul suivante. Elle constitue une recommandation de restitution du cabinet.

Élément à documenterPrécision attendue
Grandeur évaluéeUnité métier et éventuelle transformation des observations
ConventionPerte à minimiser, score brut ou normalisé, dénominateur exact
Prévisions conservéesSimulations et poids, ou quantiles et niveaux correspondants
AgrégationOpérations effectuées par horizon, série, fenêtre et ensemble de données
Données absentesRègle d’exclusion ou de traitement appliquée aux observations et prévisions
ReproductionVersion de la bibliothèque et fonction effectivement appelée

Cette fiche précise aussi l’ordre des opérations : sommer puis diviser, ou calculer des ratios puis les moyenner. Le lecteur doit pouvoir retrouver la convention effectivement appliquée, ainsi que les cas où le dénominateur est nul.

Enfin, associez au score les diagnostics correspondant à la décision : couverture des intervalles pour les probabilités annoncées et évaluation commune des variables si leurs relations comptent. Cette dernière question fait l’objet de la fiche Score d’énergie : évaluer une prévision probabiliste sur plusieurs variables. Le rapport conserve ainsi un indicateur synthétique accompagné des éléments nécessaires à son interprétation.

FAQ

Quel objet le CRPS compare-t-il à l’observation ?
Il compare la fonction de répartition annoncée à une fonction qui passe de zéro à un au niveau de l’observation. Selon Gneiting et Raftery, 2007, son expression comme perte additionne les écarts au carré sur tous les seuils ; une valeur plus faible est préférable.

Pourquoi le score conserve-t-il l’unité de la cible ?
Sa représentation repose sur des distances absolues entre valeurs de la grandeur prévue. Gneiting et Raftery, 2007, montrent qu’il devient l’erreur absolue pour une prévision déterministe. Une normalisation par les observations modifie cette lecture.

Comment partir d’un ensemble de simulations ?
À partir de la représentation de Gneiting et Raftery, 2007, on combine les distances à l’observation et les distances entre simulations. Le résultat porte sur la distribution empirique retenue ; il faut conserver les simulations et préciser leurs poids pour le reproduire.

Comment l’approximation par quantiles fonctionne-t-elle ?
Elle remplace l’intégrale des scores quantiles par une somme sur une grille finie. L’annexe de Bracher et ses coauteurs, version de janvier 2021, explicite le facteur deux et le rôle de l’espacement des niveaux. La normalisation éventuelle doit être documentée séparément.

Un bon CRPS démontre-t-il la calibration ?
Le score synthétise la qualité de la prévision probabiliste. Pour examiner la calibration, il faut confronter les probabilités annoncées aux fréquences observées. La prépublication TW3Cast de septembre 2026 distingue elle-même son critère de sélection d’une sélection dédiée à la calibration.

Pour aller plus loin

Sources