Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 2 novembre 2026.
En bref
Un pourcentage d’erreur peut devenir inutilisable lorsque la demande est nulle, et très élevé lorsqu’elle est faible. Le MAPE calcule la taille de chaque erreur en pourcentage de la valeur observée, puis en fait la moyenne, selon la définition de Hyndman et Koehler dans leur manuscrit du 2 novembre 2005. Le sMAPE fait aussi intervenir la valeur prévue dans cette division ; sa formule doit être précisée. Pour décider d’un changement de modèle, il faut donc connaître les périodes incluses dans le score et la manière de les pondérer. Des mesures exprimées dans l’unité de la demande ou rapportées à une prévision de référence permettent d’autres lectures. TW3 recommande de fixer ces conventions avant de comparer les fournisseurs ou les modèles.
1. Pourquoi diviser par une observation pose-t-il problème ?
Le problème apparaît lorsque l’observation utilisée comme diviseur est nulle ou très faible. Dans Another look at measures of forecast accuracy, manuscrit du 2 novembre 2005, Hyndman et Koehler définissent l’erreur comme l’observation moins la prévision. Notons ces quantités respectivement y, f et e : e = y − f.
Le MAPE désigne la moyenne des erreurs absolues en pourcentage. Sa formule s’écrit MAPE = moyenne(100 × |y − f| / |y|). Les barres désignent la valeur absolue : le calcul retient la taille de l’écart. L’observation figure au dénominateur de chaque terme, avant le calcul de la moyenne.
Si elle est exactement nulle, la division ne fournit aucun pourcentage exploitable : les auteurs distinguent les valeurs infinies et les valeurs indéfinies, notamment lorsque numérateur et dénominateur sont tous deux nuls. Si l’observation est seulement proche de zéro, le quotient peut devenir très grand. Les auteurs constatent alors une distribution fortement dissymétrique des erreurs en pourcentage.
Leur série de ventes mensuelles d’un lubrifiant comporte des périodes sans vente. Elle produit des MAPE infinis ou indéfinis selon la méthode évaluée. Cet exemple publié montre pourquoi le problème concerne directement la demande intermittente, caractérisée par des périodes sans demande.
Pour un tableau de bord, la question préalable est donc le nombre de périodes où le calcul est défini. Nous proposons de rendre ce périmètre visible à côté du résultat, afin que la direction puisse distinguer la qualité de prévision de la couverture effective de l’indicateur.
2. Le sMAPE corrige-t-il toutes ces difficultés ?
Le sMAPE conserve des singularités, qui varient avec sa définition. Dans sa clarification Errors on percentage errors du 16 avril 2014, Hyndman recense des formules différentes sous des appellations voisines. Avec les notations précédentes, les dénominateurs rencontrés sont y + f, |y + f| et |y| + |f|.
Cette distinction compte dès que des valeurs négatives sont possibles. La somme signée peut produire un résultat négatif ; placer la somme entière entre des barres évite ce signe, mais laisse possible une annulation entre observation et prévision. La somme des valeurs absolues évite cette compensation. Elle conserve cependant un dénominateur nul lorsque observation et prévision sont toutes deux nulles.
Les multiplicateurs diffèrent aussi : Hyndman relève une version avec le facteur 100 et une autre sans ce facteur. Avant de rapprocher des scores issus de logiciels différents, il est donc utile de demander la formule complète et la convention d’affichage.
Le mot « symétrique » appelle également une précision. À observation fixée, le dénominateur change avec la prévision : des écarts de même taille vers le haut et vers le bas peuvent contribuer différemment au score. Hyndman rappelle que le choix de la symétrie pertinente dépend du problème étudié.
Dans une comparaison de prestataires, faites expliciter le traitement du couple observation nulle et prévision nulle. Le nom de la mesure, même partagé par tous les candidats, ne suffit pas à documenter ce cas.
3. Que change une origine arbitraire de l’échelle ?
Un pourcentage d’erreur suppose que le zéro de la grandeur ait un sens. Hyndman et Athanasopoulos, dans Forecasting: Principles and Practice, édition de 2021, distinguent les mesures dont le zéro est significatif de celles dont l’origine est conventionnelle.
Une demande nulle représente une absence de demande. En revanche, les auteurs prennent les températures Celsius et Fahrenheit comme exemples de grandeurs pour lesquelles l’origine est arbitraire. Ils expliquent qu’un pourcentage d’erreur ne convient pas pour évaluer ces prévisions de température. Le fait qu’un logiciel puisse effectuer la division ne suffit donc pas à donner un sens au résultat.
Cette vérification mérite de précéder le choix de la métrique. Dans la fiche de définition proposée pour le reporting, précisez ce que représente la variable, son unité et le sens de son zéro. Ajoutez les éventuelles transformations appliquées avant l’évaluation, afin que le destinataire sache sur quelle grandeur porte réellement le score.
Pour une direction métier, cette description permet de valider la question posée par l’indicateur. S’agit-il de mesurer un écart dans l’unité utilisée pour planifier l’activité, ou un écart relatif à une quantité observée ? L’arbitrage peut se faire avec l’équipe data une fois la grandeur définie. La présence d’un symbole de pourcentage dans le tableau ne dispense pas de cette décision.
4. Peut-on comparer directement des moyennes de pourcentages ?
La comparaison exige la même règle d’agrégation et un périmètre explicite. Le manuscrit de Hyndman et Koehler du 2 novembre 2005 précise que la moyenne peut porter sur des périodes ou sur des séries. Il souligne aussi les valeurs extrêmes produites par les observations proches de zéro.
Pour préparer le reporting, nous distinguons les lectures suivantes. Une moyenne par observation donne le même poids à chaque erreur en pourcentage retenue. Une moyenne des scores par série donne le même poids à chaque série, si cette pondération est celle choisie. La seconde lecture doit être décrite séparément lorsque les séries ne comportent pas toutes le même nombre de périodes évaluées. Ces conventions correspondent à des unités de comparaison différentes.
Le rapport entre la somme des erreurs absolues et la somme des observations absolues constitue encore une autre mesure. Dans sa note WAPE: Weighted Absolute Percentage Error du 8 août 2025, Hyndman présente ce rapport comme une moyenne d’erreurs relatives pondérée par la valeur absolue des observations. Cette écriture en moyenne pondérée suppose des observations non nulles. Pour une demande strictement positive, elle donne davantage de poids aux volumes élevés.
Ce rapport reste défini si certaines observations sont nulles, tant que leur somme absolue est positive. Il devient indéfini si toutes sont nulles. Hyndman souligne aussi ses limites pour comparer des périodes lorsque la série présente une tendance : une hausse du dénominateur peut donner l’apparence d’une amélioration.
Choisissez donc la pondération en fonction de la décision : suivre chaque référence avec le même poids ou suivre l’erreur rapportée au volume total. Inscrivez ce choix dans le libellé du tableau.
5. Quelles alternatives garder dans une comparaison ?
Le choix dépend de l’unité de lecture et de la valeur centrale recherchée. Le tableau s’appuie sur Hyndman et Athanasopoulos, édition de 2021, et sur les limites du MASE précisées par Hyndman le 8 août 2025.
| Mesure | Définition et unité | Cible de la minimisation | Limite à examiner |
|---|---|---|---|
| MAE | Moyenne des écarts absolus, dans l’unité de la demande | Médiane | Comparaison directe inadaptée entre unités différentes |
| RMSE | Racine de la moyenne des écarts au carré, dans l’unité de la demande | Moyenne | Sensibilité aux grandes erreurs |
| MASE | Moyenne des erreurs absolues rapportées à l’erreur absolue moyenne d’une référence naïve calculée sur l’apprentissage, sans unité | Médiane | Dénominateur de référence et anomalies de l’historique à examiner |
La sensibilité du RMSE aux valeurs extrêmes est explicitée par Hyndman et Koehler dans leur manuscrit du 2 novembre 2005. Ce texte indique aussi que le MASE non saisonnier devient infini ou indéfini lorsque toutes les observations historiques sont égales. Son dénominateur demande donc une vérification propre.
L’usage du MASE apparaît dans TW3Cast, prépublication de Thierry et Rochet déposée sur arXiv le 16 septembre 2026 : chaque prévision par fenêtre est évaluée avec cette mesure pour la précision ponctuelle. Ce choix décrit le protocole de la prépublication, sans constituer une prescription pour toutes les activités.
Pour le dénominateur saisonnier, voir Calculer le MASE : choisir la référence saisonnière et interpréter le résultat. Ici, la décision consiste à retenir les mesures dont l’unité et la cible correspondent au besoin métier.
6. Comment rédiger une règle de reporting ?
La règle doit permettre de refaire le score sur le même périmètre. Hyndman et Athanasopoulos, édition de 2021, rappellent que l’évaluation porte sur des données nouvelles, distinctes de celles utilisées pour ajuster le modèle. Les erreurs de prévision peuvent aussi concerner plusieurs pas dans le futur.
Sur cette base, notre recommandation est de demander au fournisseur une fiche de calcul répondant aux questions suivantes :
- Quelle variable est prévue, dans quelle unité et à quel horizon ?
- Quelles périodes appartiennent à l’apprentissage et à l’évaluation ?
- Quelle formule exacte est utilisée, avec quelle pondération des séries ?
- Comment les observations nulles et les divisions indéfinies sont-elles traitées ?
- Quelles exclusions sont appliquées et comment leur ampleur est-elle affichée ?
- Si une référence intervient au dénominateur, sur quelles données est-elle calculée ?
Fixez ces conventions avant de lire les résultats comparatifs. Si le calcul échoue sur certaines séries, prévoyez leur présentation séparée avec une mesure applicable. Pour garder cette décision traçable, consignez également les changements de convention entre deux versions du reporting.
Remplacer systématiquement un dénominateur nul par une petite constante, souvent appelée epsilon, ne fait pas partie de cette proposition. La règle attendue doit expliciter le traitement des cas concernés et permettre au lecteur de comprendre ce que couvre le résultat. Le seuil de qualité acceptable reste à définir avec le métier selon l’usage prévu.
FAQ
Pourquoi le MAPE pose-t-il problème aux valeurs nulles ?
Le MAPE divise chaque erreur absolue par la valeur absolue de l’observation. Une observation nulle empêche d’obtenir un pourcentage exploitable ; une observation très faible peut produire une valeur extrême, comme l’expliquent Hyndman et Koehler dans le manuscrit cité plus haut.
Le sMAPE règle-t-il le problème des zéros ?
La réponse dépend de sa définition. Même la version utilisant la somme des valeurs absolues au dénominateur reste indéfinie lorsque prévision et observation sont toutes deux nulles. La clarification de Hyndman citée dans la section consacrée au sMAPE distingue ces conventions.
Pourquoi le zéro d’une échelle doit-il avoir un sens ?
Le pourcentage rapporte un écart au niveau observé. Hyndman et Athanasopoulos rappellent que les températures Celsius et Fahrenheit ont une origine conventionnelle, ce qui rend cette lecture inadaptée. La définition de la grandeur précède donc le choix du score.
Une moyenne de pourcentages équivaut-elle à un rapport de sommes ?
Les pondérations diffèrent. La note de Hyndman sur le WAPE permet cette lecture pondérée lorsque les observations sont non nulles. En présence de zéros, il faut revenir au rapport de sommes défini dans la section sur l’agrégation. Pour comparer des tableaux, il faut connaître la règle appliquée et les périodes incluses.
Faut-il choisir MAE, RMSE ou MASE ?
Le MAE et le RMSE se lisent dans l’unité de la demande, tandis que le MASE rapporte l’erreur à une référence historique. Minimiser le MAE ou le MASE vise une médiane ; minimiser le RMSE vise une moyenne. Le tableau précédent permet de rapprocher ces propriétés de la décision métier.
Pour aller plus loin
- Calculer le MASE : choisir la référence saisonnière et interpréter le résultat
- Demande intermittente : ce que calcule Croston et où sa portée s’arrête
- Moyenne ou médiane : quelle valeur centrale votre métrique demande-t-elle ?
Sources
- Hyndman et Koehler, Another look at measures of forecast accuracy, manuscrit du 2 novembre 2005, consulté le 9 octobre 2026.
- Hyndman, Errors on percentage errors, 16 avril 2014, consulté le 9 octobre 2026.
- Hyndman et Athanasopoulos, OTexts, Forecasting: Principles and Practice, édition de 2021, Evaluating point forecast accuracy, consulté le 9 octobre 2026.
- Hyndman et Athanasopoulos, OTexts, présentation et référence bibliographique de l’ouvrage, 2021, consulté le 9 octobre 2026.
- Hyndman, WAPE: Weighted Absolute Percentage Error, 8 août 2025, consulté le 9 octobre 2026.
- Thierry et Rochet, TW3Cast, prépublication déposée sur arXiv le 16 septembre 2026, texte intégral, consultés le 9 octobre 2026.