Verificare una previsione della baseline: il MAPE e l’uplift

Qualsiasi modello sa tracciare con sicurezza una linea nel futuro. La domanda è se saprebbe tracciare il passato.

È la stessa baseline Holt-Winters di tre settimane fa, con i valori stimati sovrapposti agli ultimi 120 giorni di ricavi reali. Il MAPE è del 5,5%. In un giorno medio il modello sbaglia di circa il cinque e mezzo per cento, e si vede esattamente dove.

Quel numero è il prezzo di ogni affermazione che farai con questa baseline.

Supponi che una campagna porti un uplift del 4% rispetto a essa. Il riferimento stesso si muove del 5,5% in un giorno tipico, quindi una sola settimana al 4% sta dentro il rumore dello strumento. Quattro settimane consecutive al 4% no, perché errori di quella dimensione non si allineano per caso nella stessa direzione. Il modello non ti impedisce di fare la prima affermazione. Ti dice però che l’affermazione è più piccola del righello.

Dove l’adattamento fatica è informativo quanto dove funziona. Guarda i giorni in cui la linea stimata resta sotto: sono giorni che il calendario non aveva previsto, e di solito sono i giorni in cui è successo qualcosa. Un modello che li riproducesse alla perfezione avrebbe assorbito le tue campagne nella baseline, e a quel punto la baseline ti misurerebbe contro te stesso.

Per questo l’ordine conta. Prima la baseline, sul periodo più pulito che riesci a trovare. Poi eventi e campagne, come cose che spingono sopra di essa. Stimali tutti insieme e l’attribuzione sparisce senza rumore dentro il trend.

Due limiti onesti, stampati con il risultato invece di lasciarli scoprire a chi legge.

Holt-Winters presuppone la forma della serie: trend più stagione più livello, nient’altro. Non ha driver, né spesa, né prezzo. Non può dirti perché, solo cosa.

E impara il ciclo che gli dai. Qui sette giorni, perché le settimane della spesa si somigliano. Su un business con un ciclo di 52 settimane e due anni di storico, lo stesso modello ha visto il ciclo due volte, e due esempi non fanno uno schema.

Una piccola abitudine che si ripaga da sola: guarda la linea stimata prima di guardare la previsione. Tutti scorrono verso la parte destra del grafico, dove c’è il futuro, ed è la metà dell’immagine senza alcuna prova dentro. La metà sinistra è quella che puoi verificare, ed è quella che ti dice se la destra vale qualcosa.

E quando l’adattamento è scarso, resisti alla tentazione di aggiungere termini finché migliora. Una baseline ritoccata fino a combaciare perfettamente con lo storico di solito ha assorbito proprio gli effetti che stavi per misurare, e te li restituirà come business as usual.

Il grafico è l’output reale di Previsione della baseline in TEA. L’errore viene riportato insieme alla previsione, non nascosto dietro.