Differenze regionali nel MMM: cosa dice tau di un piano nazionale

Questo è il grafico che ti dice se un numero nazionale merita di esistere, e ha una colonna che la maggior parte delle persone non ha mai visto.

Ogni riga è un canale con la sua stima aggregata e l’intervallo al 95%. L’etichetta a destra è tau, la dispersione tra le regioni.

Volantino: 6,43, tau 0. Digital search: 4,07, tau 0. Radio: 4,42, tau 0. TV: 6,10, tau 2,01.

Tau è la deviazione standard dei veri effetti regionali intorno alla media nazionale, e risponde a una domanda a cui la media non può rispondere. Un tau pari a zero dice che le regioni non differiscono oltre quanto spiega il rumore, quindi il numero nazionale è tutta la storia. Un tau di 2,01 contro una media di 6,10 dice che le regioni differiscono davvero, di circa un terzo della dimensione dell’effetto, e un unico piano nazionale a quel punto è una scelta, non un’impostazione predefinita.

Due stime, due compiti diversi. La media ti dice che cosa aspettarti. Tau ti dice quanto sbaglierai in una singola regione se usi la media.

C’è una terza riga su cui vale la pena fermarsi. Digital social esce a -4,39, con un intervallo che resta sotto lo zero. Preso alla lettera, dice che spendere lì abbassa i ricavi. Preso con la nota che il prodotto stampa, dice che il canale non ha un tetto positivo in nessun segmento con questo modello, e con canali correlati questo di solito significa che il modello non riesce a separarlo, non che il canale faccia danni.

Quella distinzione è la differenza tra tagliare un budget e indagare su un file. Nei modelli media i coefficienti negativi sono quasi sempre un messaggio sulla collinearità, e leggerli come istruzioni è il modo in cui un canale che funziona viene ucciso da una regressione.

Il resto della diagnostica va letto insieme. Tre regioni hanno un R² sopra 0,83. La quarta, la più piccola, si ferma a 0,42, e le sue stime meritano un peso proporzionalmente minore in qualsiasi piano.

Se da questo grafico prendi un’abitudine, prendi la domanda. Quando qualcuno presenta un numero nazionale di efficacia, chiedi qual è la dispersione tra i segmenti. Se la risposta è che nessuno ha guardato, il numero nazionale è una media di utilità sconosciuta, e verrà applicato a ogni regione come se fosse una proprietà del canale.

Tau è anche un buon allarme precoce sulla qualità dei dati. Un tau enorme rispetto alla media, con intervalli larghi ovunque, di solito significa che i segmenti sono stati divisi troppo finemente per lo storico disponibile, e il rimedio è aggregare, non modellare con più forza.

Il grafico è l’output reale di MMM geo / per segmento in TEA.