A = B? Welche Potentiale in “ergebnislosen” A/B Tests stecken

A/B Tests stellen ein simples und effektives Tool zur Performance Steigerung dar. Deshalb werden sie von Werbetreibenden gerne und häufig eingesetzt, um Websites oder Display Anzeigen auf Grundlage von Daten zu optimieren. Jedoch liefern weniger A/B Tests als gedacht ein aussagekräftiges Ergebnis – zumindest auf den ersten Blick. Warum das der Fall ist und warum kein Ergebnis auch ein Ergebnis sein kann, fassen wir in diesem Artikel zusammen.

Was der A/B Test (theoretisch) alles kann

Einfach ausgedrückt zeigt ein A/B Test auf, welche der beiden Versionen (A oder B) im Hinblick auf vorher definierte KPIs besser performt. Hierfür werden zwei unterschiedliche Versionen z.B. einer Landingpage, eines Newsletters oder eines Online Banners miteinander verglichen. Durch eine minimale Änderung der Version B gegenüber der Kontrollversion A können Rückschlüsse auf die Wirksamkeit oder Leistung einzelner Designelemente, Formulierungen oder auch Formate getestet werden. Beispielsweise kann durch einen A/B Test herausgefunden werden, ob ein animierter oder nicht animierter Call-to-action Button auf einer Website zu einer besseren Conversion Rate führt. Die Ergebnisse dienen als Basis für die Optimierung und helfen dem Team bei strategischen Budget-Entscheidungen. Die einzelnen Schritte bei der Durchführung eines A/B Tests sind in der Abbildung unten dargestellt.

Wie die Realität aussieht

Soweit hört sich dieses Vorgehen sehr vielversprechend an. Über die Jahre hat sich jedoch gezeigt, dass es nicht selbstverständlich ist, mit A/B Testing aussagekräftige Einblicke zu erzielen. Die Ursachen für das “Scheitern” von Tests reichen von zu vielen Metriken, die gleichzeitig betrachtet werden, bis hin zu nur geringen Abwandlungen der Behandlungsgruppe (Version B), die sich kaum bemerkbar machen. Einer der Hauptgründe für fehlgeschlagene A/B Tests ist jedoch, dass sie häufig zu früh beendet und Schlüsse zu schnell gezogen werden. Viele der verfügbaren Versuchs-Software zeigen die Entwicklung des Tests in Echtzeit und verleiten dazu, vorschnelle Erkenntnisse und Entscheidungen abzuleiten. Da A/B Testing aber nun mal ein statistisches Verfahren ist, sollte eine relevante Zahl an Nutzern erreicht und der Test über einen kritischen Zeitraum durchgeführt werden, um dessen Validität sicherzustellen.

Die Realität des A/B Testings ist daher, dass nur etwa 10-20% der A/B Tests ein statistisch signifikantes Ergebnis liefern¹. Oder: nur etwa jeder 7. Test bestätigt einen signifikanten Unterschied zwischen den Varianten (siehe Abbildung unten). Dies bedeutet im Umkehrschluss für viele Manager, dass der Großteil der Experimente keine wertvollen Insights in Bezug auf das User-Verhalten generiert und lediglich Zeit und Ressourcen in Anspruch nimmt.

Auch “keine Ergebnisse” liefern wertvolle Erkenntnisse

Muss ein statistisch nicht signifikantes Ergebnis sofort bedeuten, dass der Aufwand umsonst war? Auf den zweiten Blick wird schnell klar: nicht zwingend. Stellen Sie sich zuerst die Frage, was ergebnislos überhaupt bedeutet. Wenn damit gemeint ist, dass die Resultate nicht die getroffene Vorhersage bestätigen, können dennoch wertvolle Einblicke gewonnen werden.

Dazu ein Beispiel aus der Praxis:

Für einen Kunden setzten wir einen A/B Test auf, um die Effekte personalisierter Display Anzeigen im Vergleich zu generischen Anzeigen zu bestimmen. Das Design des Banners wurde auf Basis von demografischen Merkmalen und Verhaltensweisen auf die Nutzer in der Behandlungsgruppe zugeschnitten. Hypothese des Tests war: Personalisierung sorgt für höhere Relevanz und dadurch eine gesteigerte Performance. Die statistische Auswertung des Tests ergab allerdings keinen signifikanten Unterschied zwischen der personalisierten und der generischen Variante im Hinblick auf die Klickrate und Conversion Rate. Daraus ergaben sich für uns zwei potentielle Schlussfolgerungen – entweder war der Personalisierungsgrad zu gering, um von den Teilnehmern wahrgenommen zu werden, oder aber es ist schlichtweg rentabler, mit der generischen Anzeige fortzufahren. Anhand dieser Erkenntnisse haben wir schließlich unser Kampagnen Setup optimiert.

Zudem gibt es noch andere interessante Erkenntnisse, die erworben werden können:

Der A/B Test bestätigt ihre aktuelle Herangehensweise

Besteht beispielsweise kein wesentlicher (statistischer) Unterschied zwischen zwei Anzeigevarianten, kann daraus geschlossen werden, dass das aktuelle Setup gut funktioniert und dass die Kosten für die etwaige aufwändigere Variante gespart werden können. Mit diesem Wissen kann sich das Team anderen Projekten widmen und seine Ressourcen effektiver nutzen.

Die Ergebnisse geben neue Denkanstöße oder stellen bisherige Annahmen in Frage

A/B Testing beruht auf dem Prüfen von Annahmen. Häufig ist man sich vor Testbeginn bereits sicher, dass Variante B die Variante A aussticht. Wird diese Vermutung aber wie in unserem Praxisbeispiel widerlegt, regt dies zum Nachdenken und Treffen neuer Prognosen an.

Erfahrungen für den nächsten A/B Test werden gesammelt

Es kann sehr hilfreich sein, die Gründe für den nicht aussagekräftigen Ausgang eines A/B Tests im Einzelfall eingängig zu analysieren. Mit jedem Anlauf lernt man dazu und wird den nächsten A/B Test besser designen.

Fazit

A/B Tests stehen unter dem Motto “Trial and Error”. Sie können ein hilfreiches Tool sein, um eine Frage oder Vermutung zu prüfen und können in kurzer Zeit auf- und umgesetzt werden. Doch auch wenn sie seltener als gedacht ein eindeutiges Ergebnis liefern, können sie ein wichtiger Wegweiser für die nächste Kampagne, den Aufbau des Webshops oder eben des nächsten A/B Tests selbst sein. Unsere Empfehlung: Stempeln Sie die Umsetzung nicht vorschnell als fehlerhaft ab – so laufen Sie Gefahr, dass Sie Einblicke nicht ausreichend beleuchten und wichtige Learnings verlieren! Betrachten Sie die Ergebnisse außerdem nicht isoliert, sondern in Bezug auf Ihre Marketing- und Unternehmensziele. Dann wird sich Ihre Investition bald auszahlen.

Quellen:
https://hbr.org/2014/12/yes-ab-testing-is-still-necessary

Bei Fragen rund um das Thema stehen Ihnen unsere Media/ Programmtic Experten gerne zur Verfügung!