Uplift degli eventi: il Black Friday al netto del calendario

«Il Black Friday ha fatto più 210%.» Una frase così o è la riga più importante della presentazione o non significa niente, e la differenza sta nel sapere se qualcosa è stato tenuto fermo mentre la si misurava.

Questo grafico è la versione onesta. Sei eventi, ciascuno con il suo uplift e il suo intervallo al 95%, stimati al netto del mese, del giorno della settimana e del trend.

Black Friday: +210%. Natale: +116%. Poi la coda lunga, dove stanno le decisioni interessanti: saldi estivi +42%, una campagna una tantum +42%, Pasqua +37%, saldi invernali +36%.

Due cose da notare prima della classifica.

Gli intervalli sono stretti, e tutti e sei stanno lontani dallo zero. È l’aspetto di un modello degli eventi ben specificato quando gli eventi sono davvero grandi e davvero datati. Quando un intervallo attraversa lo zero, la lettura corretta è che l’evento non ha fatto niente che tu possa dimostrare, e il prodotto lo dice invece di metterlo comunque in classifica. Mettere in fila una serie di numeri che contiene rumore è il modo in cui un calendario promozionale finisce costruito su un lancio di moneta.

La seconda è l’aritmetica che non arriva mai nella sintesi. Il Black Friday compare 18 volte in questo file e rende +210% rispetto a un giorno normale. I saldi invernali compaiono 45 volte e rendono +36%. Quale dei due vale di più in un anno? Quello con l’uplift più piccolo, e con ampio margine, perché si ripete due volte e mezzo più spesso. L’uplift è un tasso. Il contributo è un tasso per un conteggio, e solo uno dei due finisce nel titolo.

Conta anche come si costruisce la stima. Ogni evento è una variabile dummy che vale sui giorni in cui l’evento c’è stato davvero, stimata insieme ai termini di mese e di giorno della settimana. Senza quei controlli, il Black Friday si prende tutta la fine di novembre, Natale si prende dicembre, e gli effetti del mese spariscono dentro gli eventi. Con i controlli, ogni termine deve guadagnarsi il proprio coefficiente contro gli altri, e i numeri smettono di contendersi lo stesso merito.

Un’ultima disciplina. Gli eventi si sovrappongono: un saldo che sconfina in una festività, un lancio in un weekend di punta. Quando due dummy coprono gli stessi giorni, il modello non riesce a separarli, e TEA segnala la sovrapposizione invece di dividere il merito in silenzio.

La versione pratica di tutto questo sta in una riga. Prima di confrontare due eventi, controlla che entrambi gli intervalli stiano lontani dallo zero, poi moltiplica ciascun uplift per quante volte si ripete. La classifica che ottieni spesso non è quella della review di fine anno.

E quando un evento attraversa lo zero, è un risultato su cui agire, non un buco nell’analisi. Di solito vuol dire che l’evento è troppo piccolo per separarlo dalla stagione in cui cade, e le opzioni oneste sono farlo più spesso, farlo più grande o smettere di pagarlo.

Il grafico è l’output reale di Stagionalità e impatto degli eventi in TEA.