Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 12 novembre 2026.
En bref
Le score pondéré des intervalles, ou WIS, évalue les fourchettes de prévision selon leur largeur et la distance des résultats qui en sortent. Une fourchette très large peut contenir de nombreux résultats tout en apportant peu de précision à une décision. Ce score, appelé weighted interval score en anglais, associe plusieurs de ces fourchettes à une prévision centrale. Dans leur prépublication déposée sur arXiv le 26 mai 2020, révisée le 8 janvier 2021, Bracher et ses coauteurs décrivent une décomposition en 3 contributions : largeur, pénalité de sous-prévision et pénalité de sur-prévision. Cette lecture aide une direction à comprendre ce qui dégrade un score et à demander les vérifications correspondantes. Elle complète le suivi de la fréquence à laquelle les résultats entrent dans les intervalles.
1. Pourquoi un taux de couverture ne suffit-il pas ?
Le taux de couverture compte les observations contenues dans les intervalles ; il laisse de côté leur largeur et la distance des dépassements. Pour comparer des prévisions, ces informations répondent à des questions différentes.
Dans leur article de mars 2007 du Journal of the American Statistical Association, Gneiting et Raftery présentent un score qui favorise les intervalles étroits et pénalise les observations extérieures. Cela formalise une tension utile : resserrer les bornes apporte de la précision, mais expose à des dépassements. Élargir systématiquement les bornes peut augmenter la couverture sans rendre la prévision plus informative.
La couverture nominale désigne le niveau annoncé par le modèle. La couverture observée désigne la proportion de résultats effectivement contenus dans les intervalles sur le périmètre évalué. La comparaison entre ces deux valeurs fait partie du contrôle de calibration, c’est-à-dire de l’accord entre les probabilités annoncées et les fréquences observées.
Pour une revue de prévision, TW3 recommande de présenter la largeur à côté de la couverture. Il devient alors possible de demander si une amélioration apparente vient d’intervalles mieux situés ou simplement plus larges. Le score d’intervalle ajoute une autre information : lorsqu’une observation sort, il tient compte de son éloignement. Une lecture limitée au nombre de dépassements perd cette distinction, alors qu’elle peut orienter le travail de vérification des équipes data.
2. Comment calculer le score d’un intervalle central ?
Le score additionne la largeur de l’intervalle et une pénalité proportionnelle à la distance de l’observation lorsqu’elle sort des bornes. La prépublication arXiv de Bracher et ses coauteurs, révisée le 8 janvier 2021 donne la définition utilisée ici.
Notons y la valeur observée, l la borne basse et u la borne haute. Le niveau nominal est 1 − α : α est le complément de cette couverture annoncée. Un intervalle central est défini par les quantiles de niveaux α/2 et 1 − α/2. Ces niveaux correspondent à la même probabilité nominale à chaque extrémité de la distribution, appelée queue. Un quantile désigne ici un seuil associé à une probabilité cumulée de la prévision.
La formule du papier s’écrit :
ISα = (u − l) + (2/α)(l − y) × 1(y < l) + (2/α)(y − u) × 1(y > u)
La fonction indicatrice 1(condition) vaut un lorsque la condition est satisfaite et zéro sinon. Si l’observation se trouve dans l’intervalle, seule la largeur contribue au score. En dessous de la borne basse, la prévision est trop haute ; au-dessus de la borne haute, elle est trop basse. À distance égale, la pénalité augmente avec le niveau nominal de couverture, puisque le coefficient est 2/α.
Le calcul exige donc les bornes, leur niveau et la valeur réalisée. Cette définition concerne les intervalles centraux : les niveaux de quantiles qui définissent les bornes font partie de l’objet évalué.
3. Comment agréger plusieurs intervalles et la médiane ?
Le WIS réunit les scores de plusieurs intervalles centraux et l’erreur absolue de la médiane. Dans la prépublication arXiv de Bracher et ses coauteurs, révisée le 8 janvier 2021, cette agrégation conserve l’information des niveaux de couverture fournis.
La médiane, notée m, est le quantile central. Avec K intervalles, la définition retenue par les auteurs est :
WIS = [|y − m|/2 + Σ(k=1…K) (αk/2) × ISαk] / (K + 1/2)
Chaque score d’intervalle reçoit le poids αk/2 ; l’erreur absolue de la médiane reçoit le poids 1/2. La normalisation fait partie de la définition. Les auteurs signalent avoir modifié celle-ci par rapport aux versions antérieures de leur prépublication : préciser la version utilisée évite donc de comparer des calculs différents sous le même nom.
Ces poids portent sur les niveaux des intervalles d’une prévision. Les coefficients qui combineraient plusieurs modèles interviennent dans une autre opération, en amont du score. De même, décider de l’importance relative de différentes activités dans un rapport relève d’un choix d’agrégation distinct.
Les auteurs montrent que le WIS s’exprime dans l’unité de la grandeur prévue, comme l’erreur absolue. Une valeur plus faible est préférable. Ils précisent aussi qu’une somme ou une moyenne permet d’agréger les scores de plusieurs prévisions. Pour rendre une comparaison vérifiable, conserver la grille des niveaux, les coefficients et le périmètre d’observations est une pratique utile.
4. Que montre la décomposition du score ?
La décomposition sépare ce qui vient de la largeur des intervalles de ce qui vient des erreurs dirigées vers le haut ou vers le bas. Dans leur prépublication arXiv révisée le 8 janvier 2021, Bracher et ses coauteurs proposent un graphique qui rend ces contributions visibles.
La partie liée à la largeur dépend des intervalles annoncés. Les pénalités dépendent aussi de l’observation : celle de sous-prévision intervient lorsque la valeur réalisée dépasse une borne haute, celle de sur-prévision lorsqu’elle descend sous une borne basse. L’erreur de la médiane entre également dans les pénalités du WIS. Il faut donc conserver ce terme pour retrouver le score total.
| Contribution | Élément évalué | Lecture proposée en revue |
|---|---|---|
| Largeur pondérée | Écart entre bornes, avec les coefficients du score | Examiner la dispersion annoncée |
| Sous-prévision | Observations au-dessus des bornes hautes, avec la contribution correspondante de la médiane | Repérer les prévisions trop basses |
| Sur-prévision | Observations sous les bornes basses, avec la contribution correspondante de la médiane | Repérer les prévisions trop hautes |
Dans l’application du papier, les auteurs comparent des prévisions épidémiques dont les largeurs moyennes sont proches, mais dont les pénalités de dépassement diffèrent. Le graphique explique ainsi une différence que la largeur seule laisserait échapper.
Pour transposer cette lecture, nous proposons d’examiner les contributions sur les mêmes dates et horizons. Une asymétrie fournit une piste de diagnostic. La recherche d’une cause opérationnelle demande ensuite de revenir aux observations concernées et au contexte de production de la prévision.
5. Quel lien subsiste avec le CRPS ?
Le WIS peut approcher le CRPS lorsque les niveaux des intervalles forment une grille suffisamment détaillée et régulièrement répartie. Le CRPS désigne un score qui évalue une distribution de prévision entière par rapport à l’observation.
L’annexe de la prépublication arXiv de Bracher et ses coauteurs révisée le 8 janvier 2021 exprime le CRPS comme une intégrale de scores de quantiles. Avec les coefficients précédents, le WIS correspond à une moyenne de ces scores sur les quantiles disponibles. Le passage de l’intégrale à la moyenne explique l’approximation.
Les conditions comptent : les auteurs indiquent un grand nombre de niveaux approximativement équidistants couvrant l’intervalle des probabilités. Le seul fait d’utiliser plusieurs intervalles ne suffit donc pas à établir l’identité numérique entre WIS et CRPS. La grille retenue détermine les parties de la distribution auxquelles le calcul accède.
Avec un ensemble fini de bornes, la forme de la distribution entre les quantiles et au-delà des bornes extrêmes reste partiellement indéterminée. Le papier souligne cette difficulté lorsqu’il examine la reconstruction d’autres scores à partir des seuls intervalles. Il est ainsi utile de documenter les quantiles reçus avant de décider quelle évaluation leur appliquer.
Cette lecture peut être complétée par la fiche CRPS : comment mesurer la qualité d’une distribution de prévision. Pour le WIS, le point de contrôle pratique reste la concordance entre le format livré et la formule effectivement calculée.
6. Comment l’utiliser dans une revue de prévision ?
Une revue peut associer le WIS décomposé à la couverture observée, en distinguant les horizons de prévision. Bracher et ses coauteurs expliquent dans leur prépublication arXiv révisée le 8 janvier 2021 que les scores des horizons éloignés peuvent dominer une moyenne et qu’une lecture séparée est utile.
La proposition de méthode du cabinet consiste à préparer, pour chaque horizon, un rapport indiquant :
- le périmètre, la période évaluée et le nombre de prévisions confrontées à une observation ;
- les niveaux nominaux et la couverture observée à chacun de ces niveaux ;
- le WIS moyen et ses contributions de largeur, de sous-prévision et de sur-prévision ;
- les dates des dépassements à examiner avec l’équipe responsable.
Dans ce rapport, conserver la même grille pour les modèles comparés. Séparer les activités lorsque les grandeurs ou leurs unités diffèrent, et examiner leurs échelles avant toute agrégation. Réserver la moyenne du WIS à un périmètre comparable ; les vues détaillées par horizon servent ensuite à orienter l’examen des erreurs.
Cette proposition prolonge une limite signalée par Thierry et Rochet dans TW3Cast, prépublication déposée sur arXiv le 16 septembre 2026. Leur discussion de la calibration précise que le double critère d’admission écarte des gagnants mal calibrés, sans sélectionner pour la calibration elle-même. Le rapport proposé ici constitue une adaptation méthodologique du cabinet, distincte des résultats de TW3Cast.
Un WIS agrégé ne suffit donc pas à établir la calibration pour chaque contexte d’usage. La revue proposée conserve les contrôles de couverture par périmètre.
FAQ
Pourquoi un taux de couverture ne suffit-il pas ?
Il indique la proportion de résultats contenus dans les intervalles, sans mesurer leur largeur ni la distance des observations extérieures. Le score d’intervalle de Gneiting et Raftery associe ces dimensions pour évaluer la précision annoncée et les dépassements.
Comment calculer le score d’un intervalle central ?
À la largeur s’ajoute une pénalité lorsque la réalisation sort des bornes, selon la définition de Bracher et ses coauteurs. Le calcul demande le niveau nominal, les bornes basse et haute ainsi que l’observation correspondante.
Comment agréger plusieurs intervalles et la médiane ?
Le WIS pondère chaque score d’intervalle et ajoute l’erreur absolue de la médiane avant normalisation. Reprendre la formule et la version du papier permet de conserver des coefficients explicites et comparables.
Que montre la décomposition du score ?
Elle distingue largeur pondérée, sous-prévision et sur-prévision. Les graphiques de Bracher et ses coauteurs permettent de lire le sens des erreurs ; l’identification de leur cause demande un examen complémentaire.
Quel lien subsiste avec le CRPS ?
Le WIS en fournit une approximation sous les conditions de grille décrites dans l’annexe du papier. Avec un nombre fini de quantiles, il demeure le score des informations effectivement transmises, et l’égalité avec le CRPS ne se présume pas.
Pour aller plus loin
- CRPS : comment mesurer la qualité d’une distribution de prévision.
- Croisement des quantiles : pourquoi trier les sorties ne suffit pas à les calibrer.
- Prévision conforme adaptative : ajuster les intervalles lorsque la distribution change.
Sources
- Bracher, Ray, Gneiting et Reich, arXiv, Evaluating epidemic forecasts in an interval format, prépublication déposée le 26 mai 2020, version révisée le 8 janvier 2021, consulté le 9 octobre 2026. Texte intégral, consulté le 9 octobre 2026.
- Gneiting et Raftery, Journal of the American Statistical Association, Strictly Proper Scoring Rules, Prediction, and Estimation, mars 2007, consulté le 9 octobre 2026.
- Thierry et Rochet, TW3 Partners, TW3Cast: A Frozen Router of Lightly Fine-Tuned Foundation Models for Time-Series Forecasting on GIFT-Eval, Selected Entirely on the Training Split, prépublication déposée sur arXiv le 16 septembre 2026, consulté le 9 octobre 2026. Texte intégral, consulté le 9 octobre 2026.