Perché una spesa always-on piatta rende il carryover immisurabile

Broker online di assicurazioni casa in Spagna, paid social always-on a circa €38k a settimana, che chiedeva quanto costerebbe una pausa ad agosto.

Un caso composito, costruito sul tipo di file che vediamo quasi ogni settimana. Un broker online di assicurazioni per la casa in Spagna, con vendita diretta e il paid social come canale principale. La spesa era rimasta a circa €38k a settimana per settanta settimane. I lead, cioè le richieste di preventivo, giravano intorno a 4.200 a settimana.

La finanza voleva mettere in pausa il social ad agosto. Il responsabile marketing voleva un numero prima di dire sì, e la domanda ci è arrivata così: «Se spegniamo il social per quattro settimane, quanto in fretta calano i preventivi, e quanto ci vuole per recuperarli?»

È una domanda di carryover, ed è una buona domanda. È anche una domanda a cui questo file non poteva rispondere.

Com’erano i dati

Settanta righe settimanali. Richieste di preventivo, spesa in paid social, spesa in paid search, un indice di prezzo del prodotto principale e un flag per le due settimane in cui il sito era andato giù.

Il problema era la colonna del social, ed era un problema proprio perché era gestita benissimo. La settimana più bassa era a €36,2k, la più alta a €39,9k. Il coefficiente di variazione, cioè la deviazione standard divisa per la media, era del 3%. Nessuna pausa, nessun burst, nessuna settimana di test. Un pianificatore la chiamerebbe disciplina. Un modello la chiama silenzio.

Perché qui l’adstock non si può stimare

Lag e carryover funziona chiedendosi quanta parte della spesa della settimana scorsa si vede ancora nel risultato di questa. Nel caso delle affissioni la domanda aveva una risposta, perché c’erano burst seguiti da settimane di silenzio, e si poteva guardare la coda di ogni burst che si spegneva.

Qui non c’è nessuna coda da guardare. Quando la spesa è uguale ogni settimana, anche la spesa trasformata con l’adstock è uguale ogni settimana, qualunque sia il tasso di decadimento. Un decadimento di 0,2 dà una linea piatta a circa €47k di spesa «effettiva». Un decadimento di 0,9 dà una linea piatta a circa €380k. Le due linee hanno la stessa forma, e la regressione si limita a scalare il coefficiente per farle tornare. I dati non le distinguono perché, dal loro punto di vista, sono la stessa variabile.

Si vede dall’adattamento. Per ogni tasso di decadimento da 0 a 0,9, l’R² del modello è rimasto fra 0,41 e 0,42. TEA ha restituito un decadimento centrale di 0,48 con un intervallo al 95% da 0,05 a 0,93. In emivite, vuol dire qualunque cosa da un quinto di settimana a 9,6 settimane. Il report ha segnalato la colonna come troppo povera per stimare un carryover, e quella segnalazione è il risultato onesto.

C’è un secondo problema, più silenzioso. Con una spesa che non si muove mai, l’effetto del social è difficile da separare dalla baseline. L’intercetta e il coefficiente del social cercano entrambi di spiegare lo stesso livello costante di lead, e la ripartizione fra i due è quasi arbitraria.

Cosa sarebbe andato storto forzando

Supponi che qualcuno prenda da una slide un’emivita di benchmark di tre settimane e pianifichi la pausa su quella. Da questo file sono plausibili due esiti, e portano in direzioni opposte.

Se la vera emivita è breve, i preventivi calano pochi giorni dopo lo spegnimento, il team va nel panico e la pausa viene annullata alla seconda settimana, pagandone il prezzo. Se è lunga, i preventivi si muovono appena nelle prime due settimane, il team conclude che il social non faceva niente, e a settembre il canale viene tagliato per sempre, proprio quando la coda si esaurisce. In più agosto ha una sua stagionalità per i preventivi assicurativi, che finirebbe addebitata al social o accreditata al social a seconda della direzione.

In entrambi i casi si prende una decisione su un numero che il file non ha mai contenuto.

Cosa fare invece

La soluzione non è un modello migliore. È un file diverso, e ci sono tre modi per ottenerlo.

• Pulsare apposta. Tenere lo stesso totale ma alternare: due settimane a €53k, due a €23k, quattro volte in sedici settimane. Stesso budget, abbastanza contrasto perché il decadimento si faccia vedere.
• Fare un geo holdout. Spegnere il social in tre delle province spagnole più grandi per sei settimane, scelte in modo che somiglino alle altre per volume storico di preventivi, e lasciare stare tutto il resto. Il confronto è il carryover, misurato direttamente. Il file che ne esce si può poi leggere con l’MMM geo / per segmento.
• Trasformare la pausa di agosto nell’esperimento. Se deve succedere comunque, mettere in pausa in modo pulito a una data nota, non cambiare nient’altro quel mese, e possibilmente fermarsi solo in metà del Paese.

Il broker ha scelto il piano a impulsi per l’autunno e una pausa regionale per agosto. Nessuno dei due costa soldi in più. Entrambi costano un po’ di tranquillità.

La lezione

Un canale che non si muove mai non può dirti quanto a lungo si ricorda. Una spesa always-on è una scelta sensata per la copertura, ma se la vuoi anche misurare, alcune settimane devono essere diverse apposta.