Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 26 octobre 2026.
En bref
Un modèle de prévision peut lire les mesures une par une, par blocs ou avec des observations anciennes, selon sa conception. L’unité présentée au modèle s’appelle un token : son contenu dépend de la manière dont les données sont préparées. Un bloc de mesures consécutives est appelé un patch. Dans la version du 4 février 2024 de leur prépublication TimesFM déposée sur arXiv le 14 octobre 2023, Das et ses coauteurs décrivent notamment un exemple avec des blocs d’entrée de 32 mesures. Comparer des capacités annoncées en tokens exige donc de retrouver combien de mesures elles représentent. Pour une direction qui évalue un outil de prévision, cette vérification aide à préciser l’historique à fournir et les essais à demander.
1. Comment Chronos transforme-t-il une valeur en token ?
Chronos ramène les valeurs à une échelle commune, puis attribue chacune à une classe numérique. Dans leur prépublication déposée sur arXiv le 12 mars 2024, Ansari et ses coauteurs décrivent ce traitement avant l’entrée dans le réseau. La tokenisation désigne ici la conversion d’une suite de mesures en une suite d’identifiants appartenant à un vocabulaire fini.
La mise à l’échelle divise chaque observation par la moyenne des valeurs absolues de l’historique. Elle prépare ainsi des séries d’amplitudes différentes au même mécanisme de classement. Les auteurs choisissent ensuite des centres de classes régulièrement espacés. Des bornes séparent les classes : la position d’une valeur par rapport à ces bornes détermine son identifiant. Le réseau reçoit cette représentation discrète de la série.
Deux identifiants spéciaux complètent les classes numériques. Le premier sert au remplissage des séquences et au remplacement des valeurs manquantes ; le second signale la fin d’une séquence. Le vocabulaire a donc une fonction de représentation des données et une fonction d’organisation des entrées.
Le mot « quantification » appelle une précision. Chez Chronos, il concerne les observations. La quantification des poids, décrite par Hugging Face dans sa documentation sans date, consiste à stocker les paramètres du réseau avec une précision numérique réduite. Pour qualifier une configuration, nous recommandons de documenter séparément ces opérations : elles portent sur des objets différents.
2. Quelle information une quantification peut-elle perdre ?
Le classement peut effacer des écarts entre valeurs proches et limiter la restitution des valeurs extrêmes. L’analyse qualitative de la même prépublication Chronos du 12 mars 2024 décrit ces effets de la tokenisation. Ils dépendent notamment de l’échelle de la série et de la largeur des classes.
Lorsque des observations tombent dans une même classe, leur identifiant est identique. À la restitution, cet identifiant est remplacé par le centre de la classe, puis la transformation d’échelle est inversée. Les différences internes à cette classe ont disparu de la représentation. Les auteurs montrent que des variations faibles autour d’un niveau élevé peuvent ainsi perdre en précision.
À l’autre extrême, certaines observations peuvent dépasser la plage représentable après mise à l’échelle. Elles sont affectées aux classes de bord et leur amplitude exacte ne se retrouve plus dans le centre associé. Les auteurs illustrent cette difficulté avec des séries clairsemées comportant des pics. Ils discutent également la restriction de la plage de prédiction pour des séries présentant une forte tendance.
Ces limites qualitatives ne donnent aucun taux d’erreur universel. Pour préparer un essai, une pratique proposée par le cabinet consiste à comparer les valeurs initiales à celles obtenues après tokenisation et reconstruction. Examiner séparément les pics et les petites variations autour d’un niveau élevé permet de distinguer la perte introduite par la représentation de l’erreur de prévision à évaluer ensuite.
3. Que représente un patch temporel ?
Un patch temporel désigne une sous-séquence de mesures consécutives regroupées avant leur transformation en vecteur, c’est-à-dire en une liste de nombres utilisable par le réseau. Dans TimesFM, version du 4 février 2024, Das et ses coauteurs divisent l’entrée en blocs contigus sans chevauchement. Un réseau transforme chaque bloc en vecteur et lui ajoute une information de position.
Cette opération fait entrer plusieurs mesures dans un même token. Il faut donc distinguer la longueur du bloc, exprimée en points temporels, du nombre de blocs et de la dimension du vecteur produit. Un masque accompagne les données pour signaler les valeurs à ignorer. Le masquage pendant l’apprentissage permet notamment d’exposer le modèle à des historiques qui occupent seulement une partie du premier bloc.
Dans leur prépublication PatchTST déposée sur arXiv le 27 novembre 2022, révisée le 5 mars 2023, Nie et ses coauteurs utilisent une projection linéaire apprise pour représenter les patches. Les blocs du modèle supervisé peuvent se chevaucher. Leur nombre dépend alors aussi du pas de déplacement entre blocs successifs et du remplissage ajouté en fin de séquence.
Pour une revue technique, demander uniquement la taille du patch laisse donc une partie de la préparation indéterminée. Il est utile de demander aussi le chevauchement, le traitement du dernier bloc incomplet et le masque appliqué. Ces indications décrivent la relation entre l’historique réellement disponible et la séquence effectivement présentée au réseau.
4. Comment des retards deviennent-ils un token ?
Un token peut rassembler des observations prises à des distances différentes dans le passé. C’est le principe décrit par Rasul et ses coauteurs dans leur prépublication Lag-Llama déposée sur arXiv le 12 octobre 2023, révisée le 8 février 2024. Un retard désigne ici un décalage vers une observation antérieure de la série.
Pour chaque instant, Lag-Llama construit un vecteur à partir d’une liste de retards. Les valeurs réunies peuvent donc provenir de positions éloignées les unes des autres. Les indices considérés couvrent plusieurs fréquences temporelles. Cette construction permet de présenter au réseau des observations proches et des observations issues de cycles plus longs, selon les retards retenus.
Des informations calendaires sont ajoutées, notamment l’heure dans la journée ou le trimestre dans l’année. Les valeurs anciennes et ces repères temporels font partie de l’entrée, qui passe par une projection linéaire. Le token correspond ainsi à un instant enrichi notamment de caractéristiques historiques et calendaires. Sa largeur décrit le nombre de caractéristiques réunies, tandis que la longueur de la séquence compte les instants représentés.
Cette préparation impose de disposer d’observations antérieures au début de la fenêtre de tokens, afin de calculer les retards de ses premiers instants. Le cabinet propose de faire apparaître cet historique supplémentaire dans la spécification des données. Il devient alors possible de vérifier séparément la fenêtre traitée par le réseau et la profondeur d’historique nécessaire pour la construire.
5. Quel objectif correspond à chaque représentation ?
La représentation d’entrée doit être lue avec la sortie attendue et le critère utilisé pour entraîner le modèle. Dans Chronos, prépublication du 12 mars 2024, le réseau prédit une distribution de probabilités sur les classes numériques. L’apprentissage utilise l’entropie croisée, qui évalue cette prédiction de classe. Les auteurs précisent que cet objectif ne prend pas explicitement en compte la distance numérique entre les classes.
Chronos-2, prépublication déposée sur arXiv le 17 octobre 2025, utilise des patches de valeurs accompagnées d’un indice temporel et d’un masque. Sa sortie porte sur des quantiles, des seuils associés à différents niveaux de probabilité, avec un objectif de régression quantile. Cette évolution doit apparaître dans la comparaison : le nom de famille Chronos recouvre ici des représentations différentes.
Dans Lag-Llama, version du 8 février 2024, les expériences utilisent une distribution de Student. Le réseau en prédit les paramètres et minimise la log-vraisemblance négative, un critère qui pénalise les paramètres rendant les observations peu plausibles.
| Modèle décrit dans la source | Représentation d’entrée | Sortie et objectif d’apprentissage |
|---|---|---|
| Chronos | Identifiants de classes numériques | Probabilités des classes ; entropie croisée |
| Chronos-2 | Patches avec repères temporels et masque | Quantiles futurs ; régression quantile |
| Lag-Llama | Observations décalées et informations calendaires | Paramètres d’une distribution ; log-vraisemblance négative |
Le tableau rapproche des configurations documentées. Pour prolonger cette lecture, voir la fiche Perte quantile ou vraisemblance : quel objectif pour une prévision probabiliste ?.
6. Quelles unités faut-il comparer dans une documentation ?
Une comparaison exploitable sépare les points historiques, les patches, les variables et les tokens. Cette grille est une proposition de lecture du cabinet, à renseigner pour chaque version évaluée.
| Champ à renseigner | Question à résoudre |
|---|---|
| Points historiques | Quelles observations doivent être disponibles avant la prévision ? |
| Patches | Combien de points contient un bloc, avec quel chevauchement ? |
| Variables | Quelles séries ou informations supplémentaires sont représentées ? |
| Tokens | Que contient une unité d’entrée et combien sont présentées au réseau ? |
| Sortie | Le modèle produit-il une valeur, des classes, des quantiles ou une distribution ? |
Dans leur prépublication TW3Cast déposée sur arXiv le 16 septembre 2026, Thierry et Rochet décrivent un ensemble de modèles comprenant notamment Chronos-2, TiRex, Toto et TimesFM. La préparation des experts utilise des cibles couvrant tout l’horizon ou le prochain patch, selon l’architecture. Le mot « patch » intervient donc aussi dans la définition de ce que le modèle apprend à prévoir.
La section consacrée aux travaux connexes situe Lag-Llama parmi les modèles extérieurs à cet ensemble. Les descriptions de Lag-Llama et de PatchTST utilisées dans cet article sont des éclairages issus de leurs prépublications respectives ; elles ne décrivent pas des composants ajoutés à TW3Cast.
Pour instruire une décision, consignez la version du modèle et son mode de préparation dans la même fiche que les résultats des essais. Une longueur exprimée en tokens décrit une séquence d’entrée. La précision de prévision et le temps d’exécution restent des mesures à établir sur le périmètre retenu, avec les données et les conditions d’usage prévues.
FAQ
Comment Chronos transforme-t-il une valeur en token ?
Dans la prépublication Chronos du 12 mars 2024, la valeur est mise à l’échelle, puis affectée à une classe selon des bornes numériques. Le token est l’identifiant de cette classe dans le vocabulaire du modèle. Cette opération concerne les données observées.
Quelle information une quantification peut-elle perdre ?
Dans Chronos, prépublication du 12 mars 2024, des valeurs proches peuvent recevoir un identifiant commun. Les valeurs hors plage rencontrent aussi une limite de représentation. La reconstruction restitue le centre de la classe à l’échelle d’origine, avec la précision permise par ce découpage.
Que représente un patch temporel ?
C’est un groupe de mesures consécutives transformé en vecteur d’entrée. TimesFM, version du 4 février 2024, utilise des blocs sans chevauchement ; PatchTST, version du 5 mars 2023, autorise aussi le chevauchement dans sa configuration supervisée. Le nombre de tokens se lit donc avec la règle de découpage.
Comment des retards deviennent-ils un token ?
Lag-Llama, version du 8 février 2024, réunit des observations antérieures selon des indices de retard, puis ajoute des informations calendaires. Une projection transforme ces caractéristiques pour leur traitement par le réseau. L’historique nécessaire inclut les observations permettant de calculer les retards.
Quel objectif correspond à chaque représentation ?
Les prépublications comparées associent Chronos, le 12 mars 2024, à une classification des valeurs quantifiées, Chronos-2, le 17 octobre 2025, à la régression quantile et Lag-Llama, version du 8 février 2024, à la log-vraisemblance négative. Il faut préciser l’entrée, la sortie et l’objectif ensemble pour caractériser chaque configuration. Le choix dépend ensuite de l’usage de la prévision et de son évaluation.
Pour aller plus loin
- TimesFM : apprendre à prévoir le prochain bloc avec un modèle décodeur.
- Lag-Llama : utiliser les retards de la série pour prévoir une distribution.
- PatchTST : partager les poids tout en traitant chaque canal séparément.
Sources
- Ansari et ses coauteurs, Chronos: Learning the Language of Time Series, prépublication déposée sur arXiv le 12 mars 2024, version initiale, consulté le 9 octobre 2026.
- Das et ses coauteurs, A decoder-only foundation model for time-series forecasting, prépublication déposée sur arXiv le 14 octobre 2023, version du 4 février 2024, consulté le 9 octobre 2026.
- Nie et ses coauteurs, A Time Series is Worth 64 Words: Long-term Forecasting with Transformers, prépublication déposée sur arXiv le 27 novembre 2022, version du 5 mars 2023, consulté le 9 octobre 2026.
- Rasul et ses coauteurs, Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting, prépublication déposée sur arXiv le 12 octobre 2023, version du 8 février 2024, consulté le 9 octobre 2026.
- Ansari et ses coauteurs, Chronos-2: From Univariate to Universal Forecasting, prépublication déposée sur arXiv le 17 octobre 2025, consulté le 9 octobre 2026.
- Thierry et Rochet, TW3Cast: A Frozen Router of Lightly Fine-Tuned Foundation Models for Time-Series Forecasting on GIFT-Eval, Selected Entirely on the Training Split, prépublication déposée sur arXiv le 16 septembre 2026, consulté le 9 octobre 2026.
- Hugging Face, documentation Transformers, Overview de la quantification, sans date, consulté le 9 octobre 2026.