Warum flache Always-on-Ausgaben Carryover unmessbar machen

Online-Makler für Hausratversicherungen in Spanien, Always-on Paid Social mit rund 38.000 € pro Woche, mit der Frage, was eine Pause im August kosten würde.

Ein zusammengesetzter Fall, gebaut aus der Art von Datei, die wir fast jede Woche sehen. Ein Online-Makler für Hausratversicherungen in Spanien, der direkt verkauft, mit Paid Social als größtem Kanal. Die Ausgaben lagen seit siebzig Wochen bei etwa 38.000 € pro Woche. Leads, also Angebotsanfragen, lagen bei rund 4.200 pro Woche.

Das Controlling wollte Social im August pausieren. Die Marketingleiterin wollte eine Zahl, bevor sie zustimmte, und die Frage kam so bei uns an: „Wenn wir Social vier Wochen abschalten, wie schnell sinken die Anfragen, und wie lange dauert es, sie zurückzuholen?“

Das ist eine Carryover-Frage, und eine gute. Es ist auch eine, die diese Datei nicht beantworten konnte.

Wie die Daten aussahen

Siebzig Wochenzeilen. Angebotsanfragen, Ausgaben für Paid Social, Ausgaben für Paid Search, ein Preisindex für das Hauptprodukt und ein Kennzeichen für die zwei Wochen, in denen die Website ausgefallen war.

Die Social-Spalte war das Problem, und zwar gerade weil sie so gut gesteuert war. Die niedrigste Woche lag bei 36.200 €, die höchste bei 39.900 €. Der Variationskoeffizient, die Standardabweichung geteilt durch den Mittelwert, betrug 3 %. Keine Pausen, keine Schübe, keine Testwochen. Ein Mediaplaner würde das diszipliniert nennen. Ein Modell nennt es stumm.

Warum sich Adstock hier nicht schätzen lässt

Lag & Carryover funktioniert, indem es fragt, wie viel der Ausgaben der letzten Woche im Ergebnis dieser Woche noch sichtbar ist. Im Fall der Außenwerbung hatte diese Frage eine Antwort, weil es Schübe gab, auf die ruhige Wochen folgten, und man den Nachlauf jedes Schubs verblassen sehen konnte.

Hier gibt es keinen Nachlauf zu beobachten. Wenn die Ausgaben jede Woche gleich sind, sind auch die Adstock-Ausgaben jede Woche gleich, egal bei welcher Abklingrate. Eine Abklingrate von 0,2 ergibt eine flache Linie bei etwa 47.000 € „wirksamer“ Ausgaben. Eine Abklingrate von 0,9 ergibt eine flache Linie bei etwa 380.000 €. Die beiden Linien haben dieselbe Form, und die Regression skaliert einfach den Koeffizienten passend. Die Daten können sie nicht unterscheiden, weil sie aus Sicht der Daten dieselbe Variable sind.

Man sieht es an der Anpassung. Über jede Abklingrate von 0 bis 0,9 blieb das R² des Modells zwischen 0,41 und 0,42. TEA lieferte eine zentrale Abklingrate von 0,48 mit einem 95-%-Intervall von 0,05 bis 0,93. In Halbwertszeiten ist das alles von einer Fünftelwoche bis 9,6 Wochen. Der Bericht markierte die Spalte als zu dünn, um einen Carryover zu schätzen, und diese Markierung ist das ehrliche Ergebnis.

Es gibt ein zweites, leiseres Problem. Bei Ausgaben, die sich nie bewegen, lässt sich die Wirkung von Social selbst kaum von der Basis trennen. Der Achsenabschnitt und der Social-Koeffizient versuchen beide, dasselbe konstante Lead-Niveau zu erklären, und die Aufteilung zwischen ihnen ist nahezu beliebig.

Was schiefgegangen wäre, hätte man es erzwungen

Angenommen, jemand hätte eine Benchmark-Halbwertszeit von drei Wochen von einer Folie übernommen und die Pause darauf geplant. Aus dieser Datei sind zwei Ausgänge plausibel, und sie führen in entgegengesetzte Richtungen.

Ist die wahre Halbwertszeit kurz, fallen die Anfragen wenige Tage nach dem Abschalten, das Team gerät in Panik, und die Pause wird in Woche zwei teuer zurückgenommen. Ist sie lang, bewegen sich die Anfragen in den ersten vierzehn Tagen kaum, das Team schließt, dass Social nichts gebracht hat, und der Kanal wird im September endgültig gestrichen, genau dann, wenn der Nachlauf ausläuft. Der August hat zudem seine eigene Saisonalität bei Versicherungsanfragen, die je nach Richtung Social angelastet oder gutgeschrieben würde.

So oder so wird eine Entscheidung auf einer Zahl getroffen, die die Datei nie enthielt.

Was stattdessen zu tun ist

Die Lösung ist kein besseres Modell. Es ist eine andere Datei, und es gibt drei Wege, eine zu bekommen.

• Bewusst pulsen. Dieselbe Summe beibehalten, aber abwechseln: zwei Wochen mit 53.000 €, zwei mit 23.000 €, viermal über sechzehn Wochen. Dasselbe Budget, genug Kontrast, damit sich die Abklingrate zeigt.
• Einen Geo-Holdout fahren. Social in drei der größeren spanischen Provinzen für sechs Wochen abschalten, so gewählt, dass sie beim bisherigen Anfragevolumen zum Rest passen, und alles andere unverändert lassen. Der Vergleich ist der Carryover, direkt gemessen. Die entstehende Datei lässt sich später mit Geo-/Segment-MMM lesen.
• Die August-Pause zum Experiment machen. Wenn sie ohnehin kommt, sauber an einem bekannten Datum pausieren, in diesem Monat nichts anderes ändern und idealerweise nur das halbe Land pausieren.

Der Makler wählte den gepulsten Plan für den Herbst und eine regionale Pause für August. Keines von beiden kostet zusätzliches Geld. Beide kosten ein wenig Bequemlichkeit.

Die Lehre

Ein Kanal, der sich nie bewegt, kann Ihnen nicht sagen, wie lange er sich erinnert. Always-on-Ausgaben sind ein vernünftiger Standard für Reichweite, aber wenn Sie sie auch messen wollen, müssen einige Wochen absichtlich anders sein.