Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 2 novembre 2026.
En bref
Le MASE compare l’erreur moyenne des prévisions aux écarts observés dans l’historique, entre valeurs séparées du cycle saisonnier choisi. Une erreur désigne la différence entre la valeur observée et la valeur prévue ; sa valeur absolue en conserve la taille, quel que soit son signe. Le calcul prend la moyenne de ces tailles sur la période évaluée, puis la divise par une référence historique. Selon le manuscrit de Hyndman et Koehler du 2 novembre 2005, un MASE inférieur à 1 signifie que l’erreur moyenne est plus petite que cette référence. Pour décider quel modèle retenir, il reste à comparer les prévisions sur une même période d’évaluation. La fiche de calcul doit donc conserver la période historique, le cycle choisi et les cas où la division est impossible.
1. Que mesure exactement une erreur mise à l’échelle ?
Une erreur mise à l’échelle exprime un écart de prévision relativement à une référence calculée sur la série elle-même. Dans leur manuscrit du 2 novembre 2005, Hyndman et Koehler définissent l’erreur comme la valeur observée moins la prévision. Une sous-estimation donne ainsi une erreur positive ; une surestimation, une erreur négative.
Pour mesurer la taille des erreurs, on prend leur valeur absolue. On calcule ensuite leur moyenne sur l’horizon, c’est-à-dire l’ensemble des échéances évaluées. Cette moyenne est la MAE, ou erreur absolue moyenne. Elle garde l’unité de la variable prévue : le responsable métier peut donc la lire dans l’unité de son activité.
Le MASE désigne l’erreur absolue moyenne divisée par une erreur de référence issue de l’historique. Le numérateur et le dénominateur ont la même unité ; leur quotient est sans unité. Cette propriété permet de rapprocher des séries mesurées à des échelles différentes.
Pour une restitution au métier, TW3 recommande de conserver la MAE à côté du MASE. Le quotient facilite la comparaison statistique, tandis que l’erreur dans l’unité d’origine aide à examiner les conséquences opérationnelles. Le responsable de la décision peut alors préciser séparément la tolérance acceptable et l’importance de chaque série. Ces choix métier doivent figurer dans le protocole de comparaison : la division par une référence historique ne leur attribue aucun poids.
2. Quelle période fournit le dénominateur ?
Le dénominateur utilise l’historique disponible avant la période à prévoir. Le chapitre sur l’évaluation des prévisions de Hyndman et Athanasopoulos, ouvrage OTexts de 2021, distingue une référence sans saisonnalité et une référence saisonnière.
La prévision naïve sans saisonnalité reprend la dernière observation. Son erreur historique se calcule en comparant chaque observation à la précédente. La variante saisonnière compare chaque observation à celle située un cycle plus tôt. Le retard saisonnier, noté m, est la longueur de ce cycle en nombre d’observations.
Notons T la longueur de l’historique et yₜ sa valeur à la date t. La formule saisonnière donnée par OTexts conduit au calcul suivant, où Dₘ désigne le dénominateur :
Dₘ = somme des |yₜ − yₜ₋ₘ|, de t = m + 1 à T, divisée par (T − m)
MASE = MAE sur les échéances évaluées / Dₘ
Cette division suppose un historique plus long que le cycle et un dénominateur strictement positif. Sans saisonnalité, le retard vaut 1. La longueur de l’horizon évalué et celle du cycle ont des rôles distincts : l’horizon fixe les erreurs à mesurer, le cycle fixe les paires historiques à comparer.
Comme règle de préparation, consignez la fréquence des observations et le cycle retenu avant de calculer les scores. Vérifiez que les indices séparés de m observations correspondent bien au cycle annoncé. Fixez aussi les bornes de l’historique pour tous les candidats. Changer ces bornes ou ce retard peut changer la référence ; il faut donc conserver ces paramètres avec le résultat pour pouvoir le reproduire.
3. Que signifie un MASE inférieur à un ?
Un MASE inférieur à un signifie que la MAE évaluée est inférieure à l’erreur moyenne de la référence historique. C’est la comparaison explicitée par Hyndman et Koehler dans leur manuscrit du 2 novembre 2005 : les erreurs naïves utilisées pour l’échelle sont calculées sur l’échantillon historique.
Le seuil porte donc sur une relation entre deux moyennes. Il ne représente ni une proportion de prévisions exactes ni une victoire future contre une prévision naïve réellement évaluée. Avec un dénominateur positif, une valeur égale à un signifie que les moyennes sont égales ; au-dessus, la MAE évaluée dépasse la référence.
Cette distinction intervient au moment de choisir un modèle. Le manuel OTexts de 2021 rappelle que la précision doit être évaluée sur des données qui n’ont pas servi à ajuster le modèle. Pour comparer un candidat à une prévision naïve saisonnière, calculez leurs erreurs sur les mêmes échéances tenues à l’écart. Présentez ensuite les résultats avec la même échelle historique.
À dénominateur commun et positif, comparer les MASE revient mathématiquement à comparer les MAE. Cette propriété se déduit directement du quotient. Elle permet une vérification de cohérence du relevé : si l’ordre des candidats change entre ces deux colonnes pour une même série et les mêmes échéances, il faut examiner les données ou les paramètres employés. Cette vérification est une proposition de contrôle du cabinet.
4. Quand le calcul devient-il indéfini ?
Le calcul ne fournit pas de quotient fini lorsque son dénominateur est nul ; il manque aussi de référence lorsque l’historique ne contient aucune paire au retard choisi. Ces cas se déduisent de la formule saisonnière donnée par OTexts dans le manuel de 2021.
Si toutes les valeurs historiques sont identiques, tous les écarts de référence sont nuls. Une série qui répète parfaitement son cycle saisonnier produit le même effet au retard correspondant, même si ses valeurs varient à l’intérieur du cycle. Enfin, lorsque T est inférieur ou égal à m, aucune comparaison saisonnière n’est disponible dans l’historique retenu.
TW3 recommande de prévoir un statut explicite dans le relevé : « dénominateur nul » ou « historique insuffisant ». Conservez la MAE observée et la cause du statut. Si la prévision est exacte et que le dénominateur est nul, le quotient reste indéfini ; il serait trompeur de le transformer en score de réussite.
Pour une synthèse de plusieurs séries, indiquez lesquelles entrent dans le calcul et lesquelles en sortent, avec leur motif. Une valeur exclue doit rester visible dans le compte rendu. Si un logiciel ajoute une petite constante au dénominateur pour permettre la division, documentez cette modification comme une convention de calcul propre au logiciel. Le résultat dépend alors de cette convention et doit être distingué du quotient défini dans le protocole.
5. Pourquoi calculer l’échelle avant le remplissage du contexte ?
L’échelle doit conserver les observations réelles qui servent de référence au calcul. Dans TW3Cast, prépublication déposée sur arXiv le 16 septembre 2026, Nathan Thierry et André-Louis Rochet indiquent que, pour comparer les candidats dans leur protocole de sélection, le MASE est calculé sur le contexte réel avant tout remplissage. Cette consigne figure dans la description du protocole de décision.
Le contexte désigne ici l’historique fourni pour établir une prévision. Le remplissage consiste à compléter l’entrée destinée au modèle. La distinction a une conséquence arithmétique : inclure ces positions ajoutées dans l’échelle modifierait les paires comparées ou leur nombre. Le dénominateur doit donc être établi à partir du périmètre réel annoncé.
Pour appliquer cette consigne, notre proposition de méthode consiste à conserver séparément l’historique de référence et l’entrée préparée pour le modèle. Enregistrez les bornes du contexte réel et les indices utilisés dans la somme des écarts. Vérifiez ensuite que chaque paire retenue appartient à cet historique et respecte le retard saisonnier déclaré.
Une vérification utile consiste à recalculer le dénominateur directement depuis les observations archivées, puis à le comparer à celui enregistré avec le score. La préparation technique de l’entrée devient ainsi contrôlable indépendamment de la mesure. Cette procédure traduit la consigne de la prépublication en éléments vérifiables dans une fiche de calcul.
6. Que doit contenir le relevé remis au métier ?
Le relevé doit permettre de retrouver les observations comparées, l’échelle retenue et les cas exclus. Nous proposons le tableau de préparation suivant, à remplir pour chaque série et chaque période évaluée.
| Champ | Contenu à conserver |
|---|---|
| Série et unité | Variable prévue et unité métier |
| Fréquence et saisonnalité | Espacement des observations et retard retenu |
| Période d’échelle | Bornes du contexte réel et paires utilisées |
| Horizon | Dates des observations confrontées aux prévisions |
| Erreurs | MAE, dénominateur et MASE, avec le modèle associé |
| Cas exclus | Statut du calcul et motif de chaque exclusion |
Pour choisir la métrique, les définitions du manuel OTexts de 2021 permettent de distinguer les objets suivants.
| Mesure | Calcul | Unité du résultat |
|---|---|---|
| MAE | Moyenne des valeurs absolues des erreurs | Unité métier |
| MASE | MAE divisée par la moyenne des écarts historiques absolus | Sans unité |
| RMSSE | Racine du rapport entre la moyenne des erreurs au carré et la moyenne des écarts historiques au carré | Sans unité |
Le RMSSE emploie donc une échelle fondée sur les carrés. Le guide des organisateurs de la compétition M5 de 2020 en donne une définition avec un retard d’une observation. Pour le dénominateur, il restreint l’historique aux périodes suivant la première demande non nulle. Cette convention appartient au protocole M5. Elle montre pourquoi le nom de la mesure doit être accompagné de ses règles de calcul.
FAQ
Que mesure exactement une erreur mise à l’échelle ?
Elle rapporte l’écart entre une observation et sa prévision à une référence calculée dans l’historique. Pour le MASE, on moyenne les tailles absolues des erreurs ainsi rapportées, ce qui donne une valeur sans unité.
Quelle période fournit le dénominateur ?
L’historique antérieur à la période évaluée fournit les observations de référence. La variante saisonnière compare les valeurs séparées du cycle choisi ; ses bornes et son retard doivent accompagner le score.
Que signifie un MASE inférieur à un ?
L’erreur absolue moyenne évaluée est plus petite que la référence historique. Pour établir une supériorité sur un autre modèle, comparez leurs prévisions sur les mêmes échéances avec le même dénominateur.
Quand le calcul devient-il indéfini ?
Un historique constant ou parfaitement répétitif au retard saisonnier retenu donne un dénominateur nul. Un historique trop court ne fournit aucune paire comparable. Conservez ces cas avec un statut explicite et la MAE disponible.
Pourquoi calculer l’échelle avant le remplissage du contexte ?
Dans le protocole de sélection de TW3Cast, la référence provient du contexte réel avant remplissage. Conserver les indices utilisés permet de vérifier que les positions ajoutées pour préparer l’entrée du modèle restent en dehors du calcul de cette référence.
Pour aller plus loin
- MAPE et sMAPE : les erreurs de lecture lorsque la demande approche zéro
- Moyenne ou médiane : quelle valeur centrale votre métrique demande-t-elle ?
- Weighted quantile loss : vérifier les poids et la normalisation du score
Sources
- Rob J. Hyndman et Anne B. Koehler, Another look at measures of forecast accuracy, manuscrit du 2 novembre 2005, consulté le 9 octobre 2026.
- OTexts, Hyndman et Athanasopoulos, Forecasting: Principles and Practice, troisième édition, 2021, évaluation des prévisions, consulté le 9 octobre 2026. Notice de l’ouvrage et date de référence.
- Organisateurs M5, Competitors’ Guide, compétition de 2020, section sur les prévisions ponctuelles, consulté le 9 octobre 2026 ; date de publication du fichier non indiquée.
- Nathan Thierry et André-Louis Rochet, TW3Cast, prépublication déposée sur arXiv le 16 septembre 2026, version initiale, consulté le 9 octobre 2026. Texte intégral, protocole de décision.