Collinearità fra TV e search di brand: quando la regressione cede

Marchio francese di materassi venduto direttamente al consumatore, 104 settimane di vendite e media, che chiede quanti ricavi vengano dalla TV e quanti dalla search di brand.

Un caso composito, costruito sul tipo di file che vediamo quasi ogni settimana. Un marchio di materassi venduto direttamente al consumatore in Francia, circa €31M di ricavi online, con un’agenzia TV e un’agenzia search che avevano ciascuna una slide per spiegare che l’anno era merito loro.

La domanda del direttore marketing: «Quanto delle nostre vendite viene dalla TV, e quanto dalla search di brand? Mi serve un numero per ciascuna prima del giro di budget.»

È la domanda più naturale della Storia di esplorazione, e su questo file non aveva risposta.

Com’era il file

104 righe settimanali, due anni. Ricavi, GRP TV, spesa in search di brand, search generica, paid social, un flag per le promozioni e i termini di trend e stagionalità portati dai passi precedenti del percorso, compresa la dummy di Pasqua come nel caso dei dolciumi. La TV andava a flight: dodici settimane on, sei off, circa €2,6M nel periodo. La search di brand costava circa €1,13M.

Il dettaglio che ha deciso tutto stava nella regola di offerta dell’agenzia search. Durante i flight TV le offerte sul nome del marchio salivano, perché chi vede lo spot cerca il marchio e nessuno voleva che un concorrente si prendesse quel clic. Buona pratica media. Fatale per la misura.

Nelle 104 settimane, GRP TV e spesa in search di brand hanno una correlazione di r = 0,93. Quando saliva una, saliva l’altra. Quando la TV si spegneva, la search scendeva. Non c’è quasi nessuna settimana in cui le due si siano mosse in modo diverso.

Cosa la regressione non poteva fare

Scomposizione dei contributi e dei driver stima una regressione dei ricavi su tutti i driver insieme, con un adstock sulla TV così che un flight continui a lavorare dopo la fine. Ogni coefficiente è l’effetto di un driver tenendo fermi gli altri.

Quel «tenendo fermi gli altri» è tutto il problema. Il modello impara cosa fa la TV guardando le settimane in cui la TV si è mossa e la search no. Questo file non ne ha quasi nessuna. Così il modello vede che «TV più search» ha mosso i ricavi, ma non vede come dividere il merito.

La diagnostica per questo è il fattore di inflazione della varianza (VIF). Su entrambi i canali è uscito a 7,8. In parole semplici: l’incertezza su ogni coefficiente è circa 2,8 volte più ampia di quanto sarebbe se i due canali si fossero mossi in modo indipendente, perché la radice quadrata di 7,8 è 2,8.

Gli intervalli lo mostrano:

• TV: €1,40 di ricavi per euro, intervallo al 95% da -€0,30 a €3,10;
• search di brand: €1,90 per euro, intervallo da -€0,80 a €4,60;
• le due insieme: €1,53 per euro, intervallo da €1,27 a €1,79.

L’intervallo di ciascun canale attraversa lo zero e contiene la stima dell’altro. La loro somma è misurata con una precisione di circa 26 centesimi. I dati sanno cosa ha fatto la coppia. Non sanno chi dei due l’ha fatto.

Cosa sarebbe andato storto forzando

Le stime puntuali dicono che la search rende più della TV. Lette alla lettera, suggeriscono di spostare soldi dalla TV alla search. Togli otto settimane dal campione e ristima, e la classifica si ribalta. Due persone che eseguono la stessa analisi su intervalli di date leggermente diversi porterebbero alla stessa riunione raccomandazioni opposte, entrambe con una regressione alle spalle.

Peggio, la lettura «vince la search» probabilmente ha il meccanismo al contrario. Se la TV fa cercare il marchio, una parte di ciò che raccoglie la search di brand è stata creata dalla TV. Un taglio alla TV abbasserebbe quindi anche i volumi della search di brand, e il modello, addestrato su un mondo in cui si sono sempre mosse insieme, non avrebbe mai avvisato nessuno.

Cosa fare invece

Unire. Riporta TV e search di brand come un unico blocco, €1,53 per euro con il suo intervallo stretto, e pianificale insieme. È una risposta meno emozionante ed è quella vera.

Portare un’informazione a priori da un test. Un holdout sulla search di brand, con le offerte sul nome del marchio sospese in alcune regioni per quattro-sei settimane, misura quanta parte di quel traffico sarebbe arrivata comunque in organico. Quel numero può poi fissare un coefficiente, e la regressione deve stimare solo l’altro.

Rompere la correlazione apposta. Per i prossimi due flight, sgancia la regola di offerta: tieni ferme le offerte di brand a settimane alterne, oppure lascia andare un flight con la search invariata. Da dodici a sedici settimane di movimento indipendente di solito bastano perché l’inflazione della varianza scenda sotto 3.

TEA non esegue il test. Leggerà il file che ne esce.

La lezione

Una regressione può separare solo i driver che i dati separano. Quando due canali vengono pianificati insieme, vengono misurati insieme. Se vuoi sapere cosa fa ciascuno, uno dei due deve muoversi da solo, ogni tanto, apposta.