Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 1 novembre 2026.
En bref
La prévision conforme adaptative ajuste les marges autour des prévisions en tenant compte des erreurs observées, pour accompagner les changements de comportement des données. La couverture désigne la proportion des observations qui tombent dans les intervalles annoncés. Dans leur prépublication déposée sur arXiv le 1er juin 2021, Gibbs et Candès proposent d’ajuster un seul paramètre pour contrôler cette proportion à long terme. Cette garantie porte sur une succession de prévisions ; elle ne donne pas une assurance individuelle pour chaque décision. Pour juger de son utilité, il faut aussi examiner la largeur des intervalles et leur comportement pendant les changements. Nous proposons d’étudier cette méthode comme une extension extérieure à TW3Cast, en séparant le résultat mathématique de sa validation sur un usage métier.
1. Quel problème pose un changement de distribution ?
Un changement de distribution apparaît lorsque les nouvelles observations suivent un comportement différent de celui des données ayant servi à régler les intervalles. Selon Gibbs et Candès, version arXiv du 28 octobre 2021, un changement de distribution peut compromettre la couverture obtenue par les méthodes conformes classiques.
Les données de calibration servent à mesurer les écarts entre prévisions et observations, puis à choisir un seuil acceptable. Si les écarts futurs changent de distribution, le seuil estimé sur le passé peut devenir inadapté. L’enjeu consiste à suivre ce décalage au fur et à mesure que les réalisations deviennent disponibles. Il concerne donc aussi le calendrier de remontée des données.
Cette difficulté rejoint une limite reconnue par Thierry et Rochet dans leur prépublication TW3Cast, déposée sur arXiv le 16 septembre 2026. Le texte intégral de cette version explique que la sélection privilégie la fin de la période d’entraînement. Ce choix suppose une continuité du régime ; une rupture brutale à la frontière entre entraînement et évaluation mettrait en défaut cette hypothèse.
Le rapprochement définit une question de recherche : comment ajuster l’incertitude annoncée lorsque cette continuité se dégrade ? L’adaptation conforme constitue ici une piste supplémentaire, sans résultat d’évaluation dans TW3Cast.
2. Qu’entoure la méthode conforme ?
La méthode conforme construit un ensemble de valeurs plausibles autour de la sortie d’un prédicteur. Dans la version du 28 octobre 2021 de Gibbs et Candès, ce prédicteur peut fournir une valeur centrale ou des quantiles, c’est-à-dire des bornes correspondant à différents niveaux de probabilité.
Un score de non-conformité mesure l’écart entre une valeur candidate et la prévision. Avec une prévision centrale, les auteurs prennent notamment la distance absolue à cette prévision. Avec des quantiles, le score compare la valeur candidate aux bornes estimées. Le choix du score détermine ainsi ce que la procédure considère comme une erreur importante.
Dans la construction avec séparation des données, le modèle est entraîné sur un premier ensemble. Un autre ensemble, réservé à la calibration, fournit la distribution des scores. Un quantile de cette distribution fixe le seuil : toutes les valeurs candidates dont le score reste sous ce seuil appartiennent à l’ensemble de prédiction. Pour une cible numérique et un score de distance, cet ensemble forme un intervalle.
Cette séparation permet de distinguer les responsabilités. Le prédicteur produit l’estimation ; le score décrit l’écart ; le seuil détermine l’étendue des valeurs retenues. L’adaptation conforme ajuste le niveau utilisé pour choisir ce seuil. Les auteurs envisagent aussi de réestimer le score et sa distribution avec les observations récentes : ajuster le niveau et réentraîner le prédicteur sont des opérations distinctes.
3. Comment le niveau s’ajuste-t-il au fil des observations ?
Le paramètre qui règle la non-couverture diminue après une observation hors de l’intervalle et augmente après une observation couverte. La règle de Gibbs et Candès, version du 28 octobre 2021, s’écrit :
α suivant = α courant + γ × (α cible − erreur observée).
Ici, α cible désigne la proportion souhaitée d’observations hors des intervalles. L’erreur observée vaut 1 lorsque la réalisation sort de l’ensemble annoncé, 0 lorsqu’elle y appartient. Le paramètre γ, strictement positif, fixe l’ampleur de chaque correction.
Après une erreur, α courant baisse. Pour une même entrée du prédicteur, à score et distribution de calibration fixés, cette baisse augmente ou maintient le seuil : l’ensemble s’élargit ou reste inchangé. Une observation couverte produit l’effet inverse sur le réglage. Le niveau courant est donc un réglage de la procédure ; il ne se lit pas comme la probabilité réelle d’erreur de la prochaine prévision.
Un pas élevé rend l’ajustement plus réactif, avec davantage de fluctuations. Un pas faible stabilise le réglage, mais ralentit son adaptation. Les auteurs étudient également une variante qui remplace la dernière erreur par une moyenne pondérée des erreurs passées. Pour lire la garantie présentée ici, nous retenons la mise à jour fondée sur la dernière observation.
Cette boucle nécessite de connaître la réalisation avant la correction suivante. Dans leur discussion, les auteurs identifient explicitement les observations reçues avec retard ou par lots comme un prolongement à étudier. Un protocole métier doit donc reproduire les délais réels de disponibilité.
4. Quelle garantie les auteurs établissent-ils ?
La garantie générale contrôle la fréquence moyenne des erreurs sur une séquence qui s’allonge. Dans la version du 28 octobre 2021 de Gibbs et Candès, cette fréquence converge vers α cible, sans hypothèse sur la distribution qui engendre les données.
Le résultat exige toutefois le respect de la procédure. La cible est strictement comprise entre zéro et un. Le niveau initial appartient à cet intervalle bornes incluses, le pas reste positif et constant, et la fonction qui transforme un niveau en seuil est croissante au sens large. Les auteurs imposent un seuil égal à moins l’infini lorsque cet argument est inférieur à zéro, et à plus l’infini lorsqu’il dépasse un. Le réglage adaptatif peut lui-même sortir temporairement de ce domaine.
Ces conventions ont une conséquence concrète : la construction peut produire un ensemble couvrant toutes les valeurs, ou un ensemble vide. La largeur et l’utilité de chaque prévision doivent donc faire l’objet d’une lecture séparée. Une fréquence moyenne correcte reste compatible avec des intervalles peu informatifs à certaines dates.
Les résultats plus locaux du papier s’appuient sur un modèle à états cachés, avec des hypothèses supplémentaires sur la dynamique et l’initialisation. Ils ne transforment pas la garantie générale en couverture conditionnelle pour chaque série ou chaque situation observée.
| Objet examiné | Question à poser |
|---|---|
| Couverture à long terme | La fréquence cumulée des observations couvertes approche-t-elle la cible ? |
| Couverture sur une période récente | Les erreurs se concentrent-elles dans une phase du suivi ? |
| Couverture conditionnelle | Le niveau annoncé reste-t-il valable pour une situation donnée ? |
Pour décider d’un usage, nous recommandons de garder ces questions séparées dans le compte rendu d’évaluation.
5. Comment évaluer largeur et adaptation ensemble ?
Il faut suivre conjointement les erreurs de couverture et l’étendue des intervalles. Bracher et ses coauteurs, prépublication déposée sur arXiv le 26 mai 2020, décrivent un score d’intervalle qui associe la largeur à une pénalité lorsque l’observation se situe à l’extérieur. Dans leur version du 8 janvier 2021, cette pénalité augmente avec la distance à la borne franchie. Pour un même niveau cible, un score plus faible est préférable.
Le protocole suivant constitue une proposition du cabinet. Réserver d’abord des périodes successives à l’entraînement, au choix des réglages, puis à l’évaluation finale. Sur cette dernière période, autoriser uniquement les mises à jour prévues à l’avance, à partir des observations déjà disponibles au moment de prévoir. Conserver le même prédicteur pour comparer un niveau fixe à un niveau adaptatif permet d’examiner l’apport du réglage.
Présenter ensuite la couverture cumulée et une couverture glissante, calculée sur une fenêtre récente dont la durée est fixée avant l’analyse. Accompagner ces courbes de la largeur des intervalles et du score d’intervalle, évalué au même niveau cible pour les méthodes comparées. Les sorties vides ou non bornées doivent être comptabilisées explicitement.
Lire les résultats par série et par échéance aide à repérer les difficultés que la moyenne regroupe. Ce découpage est un diagnostic empirique. Pour plusieurs niveaux d’intervalle, le prolongement consacré au score pondéré figure dans Weighted interval score : distinguer largeur des intervalles et erreurs de couverture.
6. Quand cette piste mérite-t-elle une expérimentation ?
Cette piste mérite un essai lorsque l’on dispose de prévisions archivées et des observations correspondantes, avec leurs dates de disponibilité. La discussion de Gibbs et Candès, version du 28 octobre 2021, invite notamment à examiner le délai de retour des réalisations et le choix du pas d’adaptation.
Avant l’essai, préciser quelle décision utilise l’intervalle et quelle largeur le rend encore exploitable. Fixer également la fréquence de mise à jour, la façon de traiter les données manquantes et les périodes retenues pour observer les dérives. Ces choix constituent notre proposition de cadrage ; ils doivent être consignés avant la comparaison finale.
L’archive de l’essai devrait conserver, pour chaque prévision, les bornes émises, le réglage courant et les données effectivement disponibles à cet instant. Elle permettrait de rejouer la boucle sans bénéficier rétrospectivement d’une observation encore inconnue. Une révision tardive des données devrait rester identifiable dans ce suivi.
L’intérêt pour TW3Cast vient de son hypothèse de continuité, décrite par Thierry et Rochet dans la version du 16 septembre 2026. Il s’agirait de tester une correction des intervalles autour des prévisions produites, puis d’examiner ensemble couverture récente et largeur. La décision de poursuivre dépendrait de ces mesures sur les périodes réservées, avec les contraintes de délai du métier. Aucun gain de cette extension n’est établi dans le papier TW3Cast.
FAQ
Quel problème pose un changement de distribution ?
Les écarts observés après le déploiement peuvent différer de ceux utilisés pour régler les intervalles. Le seuil issu du passé peut alors devenir inadapté, comme l’expliquent Gibbs et Candès, version du 28 octobre 2021.
Qu’entoure la méthode conforme ?
Elle entoure la sortie d’un prédicteur par un ensemble de valeurs retenues selon un score et un seuil. Dans la construction avec séparation des données de Gibbs et Candès, version du 28 octobre 2021, l’apprentissage du modèle et la calibration utilisent des ensembles distincts.
Comment le niveau s’ajuste-t-il au fil des observations ?
Une observation hors de l’ensemble fait baisser le paramètre qui règle la non-couverture. Pour une même entrée du prédicteur, à score et calibration fixés, l’ensemble s’élargit ou reste inchangé. La correction décrite par Gibbs et Candès, version du 28 octobre 2021, dépend du pas choisi et nécessite de connaître la réalisation.
Quelle garantie les auteurs établissent-ils ?
La fréquence moyenne des erreurs rejoint la cible à long terme, sous les conventions de construction du papier. Ce résultat de Gibbs et Candès, version du 28 octobre 2021, reste distinct d’une couverture conditionnelle pour chaque observation.
Comment évaluer largeur et adaptation ensemble ?
Le protocole proposé associe couverture glissante, largeur et score d’intervalle sur des périodes réservées à l’évaluation. Le score présenté par Bracher et ses coauteurs, version du 8 janvier 2021, pénalise à la fois la largeur et les observations extérieures à l’intervalle.
Pour aller plus loin
- Weighted interval score : distinguer largeur des intervalles et erreurs de couverture.
- Quantiles par échéance et trajectoires simulées : deux représentations de l’incertitude.
- Changer de modèle pour une fenêtre : les garde-fous conservateurs de TW3Cast.
Sources
- Gibbs et Candès, arXiv, Adaptive Conformal Inference Under Distribution Shift, prépublication déposée le 1er juin 2021, version du 28 octobre 2021, texte intégral, consulté le 9 octobre 2026.
- TW3 Partners, Thierry et Rochet, arXiv, TW3Cast: A Frozen Router of Lightly Fine-Tuned Foundation Models for Time-Series Forecasting on GIFT-Eval, Selected Entirely on the Training Split, prépublication déposée le 16 septembre 2026, texte intégral, consulté le 9 octobre 2026.
- Bracher, Ray, Gneiting et Reich, arXiv, Evaluating epidemic forecasts in an interval format, prépublication déposée le 26 mai 2020, version du 8 janvier 2021, texte intégral, consulté le 9 octobre 2026.