feedback@resolutionmedia.de
+49 (0)221 292910
Resolution Media
  • Unsere Leistungen
    • Affiliate Marketing
    • Amazon Marketing
    • Digital Analytics
    • Martec / GMP
    • Media / Programmatic Advertising
    • Native Advertising
    • Social Media Advertising
    • Suchmaschinenoptimierung (SEO)
    • Suchmaschinenwerbung (SEA)
  • Über uns
  • Jobs
  • Blog
  • Kontakt
  • Suche
  • Menü

A = B? Welche Potentiale in “ergebnislosen” A/B Tests stecken

Januar 12, 2021/in Blog /von Luisa Vogel

A/B Tests stellen ein simples und effektives Tool zur Performance Steigerung dar. Deshalb werden sie von Werbetreibenden gerne und häufig eingesetzt, um Websites oder Display Anzeigen auf Grundlage von Daten zu optimieren. Jedoch liefern weniger A/B Tests als gedacht ein aussagekräftiges Ergebnis – zumindest auf den ersten Blick. Warum das der Fall ist und warum kein Ergebnis auch ein Ergebnis sein kann, fassen wir in diesem Artikel zusammen.

Was der A/B Test (theoretisch) alles kann

Einfach ausgedrückt zeigt ein A/B Test auf, welche der beiden Versionen (A oder B) im Hinblick auf vorher definierte KPIs besser performt. Hierfür werden zwei unterschiedliche Versionen z.B. einer Landingpage, eines Newsletters oder eines Online Banners miteinander verglichen. Durch eine minimale Änderung der Version B gegenüber der Kontrollversion A können Rückschlüsse auf die Wirksamkeit oder Leistung einzelner Designelemente, Formulierungen oder auch Formate getestet werden. Beispielsweise kann durch einen A/B Test herausgefunden werden, ob ein animierter oder nicht animierter Call-to-action Button auf einer Website zu einer besseren Conversion Rate führt. Die Ergebnisse dienen als Basis für die Optimierung und helfen dem Team bei strategischen Budget-Entscheidungen. Die einzelnen Schritte bei der Durchführung eines A/B Tests sind in der Abbildung unten dargestellt.

Wie die Realität aussieht

Soweit hört sich dieses Vorgehen sehr vielversprechend an. Über die Jahre hat sich jedoch gezeigt, dass es nicht selbstverständlich ist, mit A/B Testing aussagekräftige Einblicke zu erzielen. Die Ursachen für das “Scheitern” von Tests reichen von zu vielen Metriken, die gleichzeitig betrachtet werden, bis hin zu nur geringen Abwandlungen der Behandlungsgruppe (Version B), die sich kaum bemerkbar machen. Einer der Hauptgründe für fehlgeschlagene A/B Tests ist jedoch, dass sie häufig zu früh beendet und Schlüsse zu schnell gezogen werden. Viele der verfügbaren Versuchs-Software zeigen die Entwicklung des Tests in Echtzeit und verleiten dazu, vorschnelle Erkenntnisse und Entscheidungen abzuleiten. Da A/B Testing aber nun mal ein statistisches Verfahren ist, sollte eine relevante Zahl an Nutzern erreicht und der Test über einen kritischen Zeitraum durchgeführt werden, um dessen Validität sicherzustellen.

Die Realität des A/B Testings ist daher, dass nur etwa 10-20% der A/B Tests ein statistisch signifikantes Ergebnis liefern1. Oder: nur etwa jeder 7. Test bestätigt einen signifikanten Unterschied zwischen den Varianten (siehe Abbildung unten). Dies bedeutet im Umkehrschluss für viele Manager, dass der Großteil der Experimente keine wertvollen Insights in Bezug auf das User-Verhalten generiert und lediglich Zeit und Ressourcen in Anspruch nimmt.

Auch “keine Ergebnisse” liefern wertvolle Erkenntnisse

Muss ein statistisch nicht signifikantes Ergebnis sofort bedeuten, dass der Aufwand umsonst war? Auf den zweiten Blick wird schnell klar: nicht zwingend. Stellen Sie sich zuerst die Frage, was ergebnislos überhaupt bedeutet. Wenn damit gemeint ist, dass die Resultate nicht die getroffene Vorhersage bestätigen, können dennoch wertvolle Einblicke gewonnen werden.

Dazu ein Beispiel aus der Praxis:

Für einen Kunden setzten wir einen A/B Test auf, um die Effekte personalisierter Display Anzeigen im Vergleich zu generischen Anzeigen zu bestimmen. Das Design des Banners wurde auf Basis von demografischen Merkmalen und Verhaltensweisen auf die Nutzer in der Behandlungsgruppe zugeschnitten. Hypothese des Tests war: Personalisierung sorgt für höhere Relevanz und dadurch eine gesteigerte Performance. Die statistische Auswertung des Tests ergab allerdings keinen signifikanten Unterschied zwischen der personalisierten und der generischen Variante im Hinblick auf die Klickrate und Conversion Rate. Daraus ergaben sich für uns zwei potentielle Schlussfolgerungen – entweder war der Personalisierungsgrad zu gering, um von den Teilnehmern wahrgenommen zu werden, oder aber es ist schlichtweg rentabler, mit der generischen Anzeige fortzufahren. Anhand dieser Erkenntnisse haben wir schließlich unser Kampagnen Setup optimiert.

Zudem gibt es noch andere interessante Erkenntnisse, die erworben werden können:

Der A/B Test bestätigt ihre aktuelle Herangehensweise

Besteht beispielsweise kein wesentlicher (statistischer) Unterschied zwischen zwei Anzeigevarianten, kann daraus geschlossen werden, dass das aktuelle Setup gut funktioniert und dass die Kosten für die etwaige aufwändigere Variante gespart werden können. Mit diesem Wissen kann sich das Team anderen Projekten widmen und seine Ressourcen effektiver nutzen.

Die Ergebnisse geben neue Denkanstöße oder stellen bisherige Annahmen in Frage

A/B Testing beruht auf dem Prüfen von Annahmen. Häufig ist man sich vor Testbeginn bereits sicher, dass Variante B die Variante A aussticht. Wird diese Vermutung aber wie in unserem Praxisbeispiel widerlegt, regt dies zum Nachdenken und Treffen neuer Prognosen an.

Erfahrungen für den nächsten A/B Test werden gesammelt

Es kann sehr hilfreich sein, die Gründe für den nicht aussagekräftigen Ausgang eines A/B Tests im Einzelfall eingängig zu analysieren. Mit jedem Anlauf lernt man dazu und wird den nächsten A/B Test besser designen.

Fazit

A/B Tests stehen unter dem Motto “Trial and Error”. Sie können ein hilfreiches Tool sein, um eine Frage oder Vermutung zu prüfen und können in kurzer Zeit auf- und umgesetzt werden. Doch auch wenn sie seltener als gedacht ein eindeutiges Ergebnis liefern, können sie ein wichtiger Wegweiser für die nächste Kampagne, den Aufbau des Webshops oder eben des nächsten A/B Tests selbst sein. Unsere Empfehlung: Stempeln Sie die Umsetzung nicht vorschnell als fehlerhaft ab – so laufen Sie Gefahr, dass Sie Einblicke nicht ausreichend beleuchten und wichtige Learnings verlieren! Betrachten Sie die Ergebnisse außerdem nicht isoliert, sondern in Bezug auf Ihre Marketing- und Unternehmensziele. Dann wird sich Ihre Investition bald auszahlen.

Quellen:
https://hbr.org/2014/12/yes-ab-testing-is-still-necessary

 

Bei Fragen rund um das Thema stehen Ihnen unsere Media/ Programmtic Experten gerne zur Verfügung!

 

Luisa Vogel

Luisa ist Junior Planner Media & Programmatic bei der Resolution Media in Ludwigsburg

 

Luisa Vogel

Junior Planner Media & Programmatic, Ludwigsburg

+49 (0)7141 3097010
feedback@resolutionmedia.de

 

Kategorien:

  • Blog
  • Featured
  • PLUS-Eventreihe
  • Unser Team

feedback@resolutionmedia.de

+49 (0)221 292910

FOLGEN SIE UNS
SERVICES

Suchmaschinenoptimierung (SEO)

Suchmaschinenwerbung (SEA)

Affiliate Marketing

Social Media Advertising

Native Advertising

Amazon Marketing

Digital Analytics

Media / Programmatic Advertising

Martec / GMP

AGENTUR

Über uns

Blog

Jobs

Kontakt

Impressum

Datenschutz

AGB

CSR

WIR SIND AUSGEZEICHNET
Social Media BVDW Zertifikat
BVDW SEO Zertifikat

© 2020 | Resolution Media / Deutschland

Checkliste: Was muss ein performancestarkes Anzeigenformat beinhalten Hi Daniela!
Nach oben scrollen

Diese Seite verwendet Cookies. Mit der Weiternutzung der Seite, stimmst du die Verwendung von Cookies zu.

Einstellungen akzeptierenVerberge nur die Benachrichtigung

Cookie- und Datenschutzeinstellungen



Wie wir Cookies verwenden

Wir können Cookies anfordern, die auf Ihrem Gerät eingestellt werden. Wir verwenden Cookies, um uns mitzuteilen, wenn Sie unsere Websites besuchen, wie Sie mit uns interagieren, Ihre Nutzererfahrung verbessern und Ihre Beziehung zu unserer Website anpassen.

Klicken Sie auf die verschiedenen Kategorienüberschriften, um mehr zu erfahren. Sie können auch einige Ihrer Einstellungen ändern. Beachten Sie, dass das Blockieren einiger Arten von Cookies Auswirkungen auf Ihre Erfahrung auf unseren Websites und auf die Dienste haben kann, die wir anbieten können.

Notwendige Website Cookies

Diese Cookies sind unbedingt erforderlich, um Ihnen die auf unserer Webseite verfügbaren Dienste und Funktionen zur Verfügung zu stellen.

Da diese Cookies für die auf unserer Webseite verfügbaren Dienste und Funktionen unbedingt erforderlich sind, hat die Ablehnung Auswirkungen auf die Funktionsweise unserer Webseite. Sie können Cookies jederzeit blockieren oder löschen, indem Sie Ihre Browsereinstellungen ändern und das Blockieren aller Cookies auf dieser Webseite erzwingen. Sie werden jedoch immer aufgefordert, Cookies zu akzeptieren / abzulehnen, wenn Sie unsere Website erneut besuchen.

Wir respektieren es voll und ganz, wenn Sie Cookies ablehnen möchten. Um zu vermeiden, dass Sie immer wieder nach Cookies gefragt werden, erlauben Sie uns bitte, einen Cookie für Ihre Einstellungen zu speichern. Sie können sich jederzeit abmelden oder andere Cookies zulassen, um unsere Dienste vollumfänglich nutzen zu können. Wenn Sie Cookies ablehnen, werden alle gesetzten Cookies auf unserer Domain entfernt.

Wir stellen Ihnen eine Liste der von Ihrem Computer auf unserer Domain gespeicherten Cookies zur Verfügung. Aus Sicherheitsgründen können wie Ihnen keine Cookies anzeigen, die von anderen Domains gespeichert werden. Diese können Sie in den Sicherheitseinstellungen Ihres Browsers einsehen.

Andere externe Dienste

We also use different external services like Google Webfonts, Google Maps, and external Video providers. Da diese Anbieter möglicherweise personenbezogene Daten von Ihnen speichern, können Sie diese hier deaktivieren. Bitte beachten Sie, dass eine Deaktivierung dieser Cookies die Funktionalität und das Aussehen unserer Webseite erheblich beeinträchtigen kann. Die Änderungen werden nach einem Neuladen der Seite wirksam.

Google Webfont Einstellungen:

Google Maps Einstellungen:

Google reCaptcha Einstellungen:

Vimeo und YouTube Einstellungen:

Datenschutzrichtlinie

Sie können unsere Cookies und Datenschutzeinstellungen im Detail in unseren Datenschutzrichtlinie nachlesen.

Einstellungen akzeptierenVerberge nur die Benachrichtigung