Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 25 octobre 2026.

En bref

La calibration d’une prévision probabiliste désigne l’accord entre les probabilités annoncées et les fréquences observées, notamment la fréquence de couverture de ses intervalles. Cette définition reprend les travaux de Gneiting, Balabdaoui et Raftery, publiés en 2007. Le MASE mesure l’erreur de la valeur centrale ; la perte quantile évalue la qualité probabiliste, qui associe calibration et concentration des prévisions. Dans leur publication arXiv du 16 septembre 2026, Nathan Thierry et André-Louis Rochet placent TW3Cast troisième par rang MASE moyen et huitième par rang de perte quantile, sur l’instantané du 14 septembre 2026. Ils expliquent cet écart par une sélection qui écarte les candidats mal calibrés sans donner la priorité au critère probabiliste. Leur proposition de sélectionner d’abord sur ce critère reste une variante non évaluée.

1. Que mesure le MASE ?

Le MASE mesure l’erreur absolue moyenne de la prévision centrale, rapportée à l’erreur d’une méthode naïve calculée sur les données d’entraînement. Dans Forecasting: Principles and Practice, OTexts, édition de 2021, Rob Hyndman et George Athanasopoulos expliquent cette normalisation : elle permet de comparer des erreurs portant sur des séries exprimées dans des unités différentes.

Pour une série saisonnière, la référence naïve reprend la valeur de la même période de la saison précédente. Le calcul rapporte l’écart entre prévision et observation à l’erreur historique de cette référence. Le MASE est donc sans unité. Une valeur plus basse traduit une erreur centrale plus faible, relativement à la référence retenue.

Cette définition doit rester distincte du traitement supplémentaire appliqué par un classement. Le code public de GIFT-Eval, dans sa version relevée le 9 octobre 2026, divise les métriques par celles de la méthode saisonnière naïve pour chaque configuration. Il calcule ensuite les rangs des modèles et leur moyenne. Une configuration correspond à un jeu de données, une fréquence d’observation et un horizon de prévision.

Pour une direction métier, la conséquence est concrète : une colonne intitulée « MASE_Rank » décrit une place moyenne face aux concurrents. Elle ne donne ni une erreur exprimée dans l’unité de production, ni un pourcentage d’amélioration. Notre recommandation est de demander aussi l’erreur dans l’unité utilisée pour décider, avec le détail des horizons évalués.

2. Que mesure la perte quantile pondérée ?

La perte quantile pondérée évalue des seuils probabilistes de prévision et pénalise leurs écarts aux observations. Un quantile désigne une valeur sous laquelle l’observation est attendue avec une probabilité donnée. Selon le chapitre sur l’évaluation probabiliste d’OTexts, édition de 2021, le quantile à 10 % doit ainsi laisser environ 10 % des observations au-dessous de lui.

La perte dite « pinball » tient compte de cette asymétrie. Pour un quantile bas, une observation qui tombe encore plus bas reçoit une pénalité plus forte qu’un dépassement de même amplitude vers le haut. Pour un quantile haut, le sens de la pénalisation s’inverse. Le score tient donc compte de la probabilité associée au seuil, en plus de la distance à la réalité.

Le CRPS, pour Continuous Ranked Probability Score, résume la qualité de l’ensemble de la distribution. OTexts le présente comme une moyenne des scores de quantiles sur toutes les probabilités. Dans la publication TW3Cast du 16 septembre 2026, GIFT-Eval utilise une approximation discrète fondée sur les neuf déciles, de 0,1 à 0,9. Le code de Salesforce relevé le 9 octobre 2026 donne le libellé « CRPS » à cette perte quantile pondérée, après la normalisation décrite plus haut.

La distinction avec la calibration compte. Gneiting, Balabdaoui et Raftery, en 2007, définissent la calibration par la cohérence entre les prévisions probabilistes et les observations. Ils distinguent cette propriété de la concentration de la distribution, c’est-à-dire du resserrement des valeurs prévues. Les scores probabilistes évaluent ces dimensions conjointement. Pour connaître la fréquence de couverture des intervalles, il faut la mesurer séparément.

IndicateurCe qu’il évalueLecture à retenir
MASEErreur de la prévision centrale, normalisée par une référence historiqueComparer la précision centrale
Perte quantile pondéréeÉcarts entre les quantiles prévus et les observationsComparer la qualité probabiliste
Rang moyenMoyenne des places obtenues sur les configurationsSituer le système parmi les entrées d’un classement daté

3. Pourquoi TW3Cast occupe-t-il des positions différentes au 14 septembre 2026 ?

Les positions diffèrent parce que les critères évaluent des propriétés différentes ; les auteurs relient cet écart à leur règle de sélection. Dans leur publication du 16 septembre 2026, ils reconstruisent le classement à partir des fichiers publics du 14 septembre 2026. Ils retiennent les 129 entrées couvrant les 97 configurations, puis ajoutent la soumission TW3Cast.

Ce calcul place TW3Cast troisième sur 130 par rang MASE moyen, avec une moyenne de 19,4. Par rang de perte quantile pondérée, le système est huitième, avec une moyenne de 24,6. Une position classe les systèmes après agrégation ; le rang moyen agrège les places obtenues sur les configurations. Ces valeurs décrivent donc des objets différents.

Les auteurs présentent ce résultat comme un décalage entre précision centrale et calibration. Pour un acheteur, il justifie une lecture séparée des indicateurs : le rang obtenu sur la valeur centrale ne suffit pas à caractériser les seuils d’incertitude livrés avec la prévision. Nous recommandons de demander une restitution où chaque résultat garde son intitulé, sa référence de comparaison et sa date.

4. Pourquoi un critère double ne donne-t-il pas la priorité à la calibration ?

Un critère double peut écarter une faiblesse probabiliste sans choisir systématiquement le candidat ayant la meilleure perte quantile. C’est la limite explicitée par Thierry et Rochet dans la publication TW3Cast du 16 septembre 2026.

Le tournoi de sélection vérifie à la fois le MASE et le CRPS. Les auteurs motivent cette règle par un cas technique précis : des candidats peuvent produire neuf déciles identiques et gagner sur le seul MASE. Les seuils probabilistes se confondent alors en une valeur unique. Le critère central peut rester favorable, tandis que la représentation de l’incertitude devient inutilisable selon les auteurs.

Le CRPS intervient également pour départager les quasi-égalités, lorsque l’écart est inférieur à 3 %. Cette intervention ne transforme pas l’ensemble du protocole en optimisation prioritaire du critère probabiliste. Dans leur discussion, les auteurs proposent une règle d’admission donnant d’abord la priorité au CRPS, tout en précisant qu’ils ne l’ont pas évaluée.

Nous recommandons de rendre cet arbitrage explicite dans un cahier des charges. L’équipe doit indiquer ce qui rend un candidat admissible, le critère qui départage les candidats restants et les conditions qui déclenchent une nouvelle évaluation. Le choix de ces règles doit correspondre à l’usage prévu de la prévision et de ses seuils d’incertitude.

5. Que montre le classement au 9 octobre 2026 ?

Le tableau public affiche des rangs moyens différents de ceux de l’instantané publié dans l’article scientifique. Sur le classement GIFT-Eval de Salesforce relevé le 9 octobre 2026, la ligne TW3Cast donne 22,773 en MASE_Rank et 28,247 en CRPS_Rank. Les valeurs proviennent du même tableau et du même relevé.

TW3Cast y apparaît en cinquième ligne de l’onglet général. Le code d’affichage de Salesforce, relevé le 9 octobre 2026, trie d’abord les entrées selon leur déclaration de fuite de données de test, puis selon le rang MASE moyen. Cette cinquième ligne doit se lire avec cette convention ; elle ne donne aucune position dans un tri par CRPS.

La publication TW3Cast du 16 septembre 2026 avertit que les positions évoluent à chaque nouvelle soumission. Nous recommandons donc d’archiver la date, les valeurs, les critères de tri et le périmètre de comparaison lorsqu’un rang entre dans une décision d’achat. Pour mesurer une évolution de performance, il faut comparer les versions sur un protocole commun : le changement d’une place relative ne suffit pas.

6. Que demander à un fournisseur de prévision ?

Nous recommandons de demander les résultats sur la valeur centrale et sur la distribution prévue, accompagnés du protocole de sélection. À partir des distinctions précédentes, le dossier d’évaluation devrait permettre de vérifier les points suivants :

  • La comparaison à une référence simple. Demander la même période et les mêmes informations disponibles pour le système proposé et pour la méthode naïve retenue.
  • La qualité des fourchettes. Demander la fréquence observée de couverture, la largeur des intervalles et la perte quantile, en précisant les horizons concernés.
  • La séparation des données. Identifier les périodes utilisées pour entraîner les modèles, choisir les règles et mesurer le résultat final sur des données réservées à cette évaluation.
  • La règle de décision. Documenter le critère d’admission et le traitement des résultats proches, puis dater la version évaluée.

La fiche publique de TW3 Partners sur la prévision photovoltaïque à J+1, sans date de publication indiquée, donne un exemple de restitution : une fourchette P10-P90 calibrée accompagne la prévision. Elle décrit un protocole figé avant évaluation, une sélection sur validation et un jeu de test gelé. Sur les 23 jours de données réelles d’onduleur rapportés, la persistance reste meilleure.

Cette réalisation mobilise LightGBM et Chronos-2 ; elle décrit un autre système que TW3Cast. Nous la retenons ici pour la forme du livrable et la comparaison documentée à une méthode simple. Pour une direction, notre recommandation est d’exiger cette traçabilité jusqu’au résultat défavorable : la décision de retenir un système doit pouvoir se relire à partir du protocole et des mesures.

FAQ

MASE ou CRPS, lequel regarder ?
Les deux renseignent des propriétés complémentaires. Le MASE porte sur la prévision centrale ; la perte quantile affichée sous le nom CRPS dans GIFT-Eval porte sur sa qualité probabiliste.

Qu’est-ce qu’un décile de prévision ?
C’est un quantile correspondant à un multiple du dixième de probabilité. Les neuf déciles évalués dans la publication TW3Cast du 16 septembre 2026 vont de 0,1 à 0,9.

Qu’est-ce que la perte pinball ?
C’est une pénalité asymétrique appliquée à l’écart entre un quantile prévu et l’observation. Le poids de cet écart dépend du côté où se trouve l’observation et de la probabilité du quantile.

Pourquoi des quantiles identiques posent-ils problème ?
Ils ramènent les seuils probabilistes à une valeur unique. La publication TW3Cast décrit cette situation pour expliquer pourquoi une sélection fondée sur le seul MASE serait insuffisante.

Ces rangs sont-ils définitifs ?
Ils valent pour un ensemble d’entrées et une date. Les positions de la publication TW3Cast du 16 septembre 2026 portent sur le 14 septembre 2026 ; le relevé du tableau public de Salesforce présenté ici date du 9 octobre 2026.

Comment améliorer la calibration de TW3Cast ?
Les auteurs proposent d’évaluer une sélection donnant la priorité au CRPS. Ils présentent cette piste comme une variante non testée ; son effet reste à mesurer.

Pour aller plus loin

Sources