Vérifier une prévision de base : ce que le MAPE dit de l’uplift

N’importe quel modèle peut tracer une ligne assurée vers l’avenir. La question est de savoir s’il saurait tracer le passé.

Voici la même base Holt-Winters qu’il y a trois semaines, avec les valeurs ajustées superposées aux 120 derniers jours de chiffre d’affaires réel. Le MAPE est de 5,5 %. Un jour moyen, le modèle se trompe d’environ cinq et demi pour cent, et vous voyez exactement où.

Ce chiffre est l’étiquette de prix de chaque affirmation que vous ferez avec cette base.

Supposons qu’une campagne apporte un uplift de 4 % par rapport à elle. La référence elle-même bouge de 5,5 % un jour ordinaire : une seule semaine à 4 % reste donc dans le bruit de l’instrument. Quatre semaines consécutives à 4 %, non, parce que des erreurs de cette taille ne s’alignent pas dans le même sens par hasard. Le modèle ne vous empêche pas de formuler la première affirmation. Il vous dit en revanche qu’elle est plus petite que la règle qui la mesure.

Là où l’ajustement peine est aussi instructif que là où il fonctionne. Regardez les jours où la courbe ajustée passe sous le réel : ce sont des jours que le calendrier n’a pas prévus, et ce sont généralement des jours où il s’est passé quelque chose. Un modèle qui les ajusterait parfaitement aurait absorbé vos campagnes dans la base, et la base vous mesurerait alors contre vous-même.

C’est pourquoi l’ordre compte. D’abord la base, sur une période aussi propre que possible. Ensuite les événements et les campagnes, comme ce qui pousse au-dessus. Ajustez-les ensemble et l’attribution se dissout discrètement dans la tendance.

Deux limites honnêtes, imprimées avec le résultat plutôt que laissées à la découverte du lecteur.

Holt-Winters suppose la forme de la série : tendance, saison et niveau, rien d’autre. Il n’a ni leviers, ni dépenses, ni prix. Il ne peut pas vous dire pourquoi, seulement quoi.

Et il apprend le cycle qu’on lui donne. Sept jours ici, parce que les semaines de la grande distribution se ressemblent. Sur une activité au cycle de 52 semaines avec deux ans d’historique, le même modèle a vu le cycle deux fois, et deux exemples ne font pas un motif.

Une petite habitude qui se rembourse d’elle-même : regardez la courbe ajustée avant de regarder la prévision. Tout le monde fait défiler jusqu’au côté droit du graphique, là où se trouve l’avenir, et c’est la moitié de l’image qui ne contient aucune preuve. La moitié gauche est celle que vous pouvez vérifier, et c’est elle qui vous dit si la moitié droite vaut quelque chose.

Et quand l’ajustement est médiocre, résistez à l’envie d’ajouter des termes jusqu’à ce qu’il s’améliore. Une base réglée jusqu’à coller parfaitement à l’historique a généralement absorbé les effets mêmes que vous alliez mesurer, et elle vous les rendra sous l’étiquette du statu quo.

Le graphique est le résultat réel du module Prévision de base dans TEA. L’erreur est publiée avec la prévision, pas cachée derrière.