Einsatzmöglichkeiten des A/B Testings

Worauf man bei unterschiedlichen Szenarien achten muss

Veröffentlicht: 07. September 2018
Tags: #MVP Operations as a service

Ein A/B-Test ist eines der wichtigsten Instrumente, um aus einem vagen Bauchgefühl eine datengetriebene Entscheidung zu machen. Bei einem A/B-Test geht es darum, zwei Versionen eines Produktes, einer Website, einer E-Mail, einer Ansprache oder eines anderen Faktors zu testen, um mögliche Verbesserungspotenziale zu identifizieren. Am Beispiel einer Website erklärt, funktioniert ein A/B-Test folgendermaßen:

ab-test-beispiel-bier
  1. Es wird eine Hypothese entwickelt, wie die Website (Version A) aus Nutzersicht verbessert werden könnte. Diese Veränderung wird in Form einer zweiten Version der Website (Version B) umgesetzt.
  2. 50% der Nutzer werden auf die alte Seite geleitet (Kontrollgruppe), 50% auf die neue Seite (Variation).
  3. Nach dem Test wird ausgewertet, welche der Versionen bessere Resultate liefert.

 

Während die Optimierung einer Website das klassische Beispiel für einen A/B-Test ist, sind der Fantasie hinsichtlich der Einsatzmöglichkeiten dieser Methode keine Grenzen gesetzt. Hier einige Beispiele:

 

 

ab-test-googleads

Performancemarketing

Sowohl Bannerwerbung als auch Suchmaschinenwerbung sind hervorragend dafür geeignet, um mit A/B-Tests die „Click-Through-Rate“ (CTR) zu erhöhen. Hier ist es wichtig darauf zu achten, dass die Ads gleichmäßig ausgespielt werden. Standardmäßig spielt GoogleAds Anzeigen optimiert aus, spielt also die Anzeige häufiger aus, welche Google für effektiver hält. So verfälscht Google jedoch das Ergebnis des A/B-Tests. Da die optimierte Anzeigenrotation grundsätzlich gut funktioniert und für eine höhere CTR und Conversion-Rate sorgt, ist es sinnvoll, sie nur für die Zeit des A/B-Tests und ausschließlich für die getestete Anzeigengruppe auszuschalten. Das folgende Bild zeigt, wie die optimierte Anzeigenrotation für eine Anzeigengruppe im Google Ads Konto deaktiviert werden kann.

Kundenservice

Auch der Kundenservice lässt sich mit A/B-Tests optimieren. Wenn zum Beispiel viele Nutzer Unterstützung beim Zurücksetzen ihres Telefons benötigen, kann mittels A/B-Test ermittelt werden, ob es besser ist, mit dem Kunden gemeinsam die Schritte am Telefon durchzugehen oder eine Videoanleitung zuzusenden. Beim Design von A/B-Tests im Kundenservice sollte man erhebliche Zeit und Energie in die Auswahl der zu optimierenden Kennzahlen und die Definition der unterliegenden Metriken investieren. Die Variante „Videoanleitung“ würde die „Average Resolution Time“ (durchschnittliche Lösungszeit) vermutlich senken, könnte aber durchaus die User Experience verschlechtern. Daher sollte zusätzlich eine Zufriedenheitskennzahl wie der „Customer Satisfaction Score (CSAT)“ oder der „Net Promoter Score (NPS)“ gemessen werden.

ab-test-design

Offline (Einzelhandel)

Der Offline-Kontakt mit dem Kunden wird häufig außer Acht gelassen, wenn es um experimentelle Optimierung geht. Doch auch an diesem Touchpoint bieten sich zahllose Fragen, welche durch A/B-Tests beantwortet werden können. Eine besondere Herausforderung in der Offlinewelt stellt das Sampling dar. Online kann man einem Nutzer mittels Zufallsgenerator Variante A oder B zuspielen –  offline leider nicht. Wenn zum Beispiel eine Fastfood-Kette ausprobieren möchte, ob das Angebot „Unbegrenzte Cola zu jedem Menü“ den Umsatz pro Kunde steigert, kann sie dies entweder mit einem „Within-Subject-Design“, einem „Between-Subject-Design“ oder einer Kombination der beiden testen.

Beim „Within-Subject-Design“ wird in einem Restaurant für eine Woche Variante A (kein „Free Refill“) und eine Woche Variante B (mit „Free Refill“) angeboten. Danach wird gemessen, welche Woche profitabler war. Eine Schwäche dieses Designs ist die Abhängigkeit von temporären Effekten. Wenn in der zweiten Woche das Bundesgesundheitsministerium eine große Kampagne mit dem Titel „Gesund Essen“ startet, sind die Testresultate voraussichtlich nutzlos.

Beim „Between-Subject-Design“ wird in einer Stadt Variante A angeboten und in einer anderen Stadt Variante B. Dieses Design ist robust gegenüber temporären Effekten, aber anfällig für geografische Effekte. Wenn die „Gesund Essen“-Kampagne nicht vom Bundesgesundheitsministerium, sondern vom größten Arbeitgeber der Stadt A kommt, sind die Testresultate wiederum fragwürdig oder gar nutzlos.

Das robusteste Design ist eine Kombination der beiden Varianten. Hier wird in der ersten Woche in Stadt A Variante A aktiv und in Stadt B Variante B; in der zweiten Woche wird die Verteilung umgekehrt.

Diese Kombination ist die robusteste, aber auch die aufwändigste Variante. Sowohl beim „Within-Subject-Desgin“, als auch beim „Between-Subject-Design“ darf die Variation in nur einem einzigen Restaurant umgesetzt werden, während bei der Kombination eine Umsetzung in zwei Restaurants zu erfolgen hat. Entsprechend sollte zunächst evaluiert und abgewogen werden, wie viel höher die Kosten für ein komplexeres Testverfahren, sind und wie hoch im Vergleich die voraussichtlichen Kosten werden, wenn auf Basis fehlerhafter Ergebnisse fragwürdige Entscheidungen  getroffen werden.

A/B Tests sind ein wichtiges Instrument beim validieren von Minimum Viable Products (MVPs). Wie MVPs auch im Großunternehmen validiert werden können, welche Hürden sich auf dem Weg ergeben und wie diese Hürden umschifft werden können, erfahren Sie in unserem kostenlosen Whitepaper "MVP Operations - Agiles validieren im Betrieb".

 

Whitepaper herunterladen

 

Whitepaper downloaden

Keinen Speed verlieren

Das Konzept des Minimum Viable Products ermöglicht eine radikale Nutzerzentrierung und eine erheblich reduzierte Time to Market. Nach der Entwicklung des MVPs ist jeder Tag Verzögerung vor dem Betrieb im Minimum Viable Market allerdings ein sträfliches Versäumnis, das es unbedingt zu vermeiden gilt. Wir identifizieren die Gründe für diese gefährliche Verzögerung und zeigen Lösungsansätze auf.

Informieren Sie sich in unserem Whitepaper über:

  • MVP Manufaktur im Digital Lab
  • Design Thinking & Agile Entwicklung
  • Verpasste Windows of Opportunity 
  • Praxiserprobte Erfolgsmetriken für MVP Operations
  • MVP-Operations-as-a-Service
  • Optimale Überführung des MVP in den Regelbetrieb

Ein wahres Klassentreffen an Produktflops war im Silicon Valley kurz vor dem Platzen der DotCom Blase zu beobachten. Geschockt von der schieren Geldverbrennung hat Steve Blank das Konzept des Minimum Viable Product aufgegriffen, um eine neue Art der Produktentwicklung zu beschreiben. In diesem Paper widmen wir uns genau diesem Ansatz. Im Speziellen fokussieren wir uns auf die Operations, also den Betrieb von MVPs nach der ersten Entwicklungsphase.

Wir legen Beobachtungen, Erfahrungen, Gespräche und Literatur zu Grunde, um zu zeigen, dass das MVP an der Schnittstelle von Entwicklung und Operations allzu häufig ad absurdum geführt wird. Anschließend machen wir aus unserer Expertendomäne des Kundenmanagements Vorschläge, wie durch das Validieren des MVPs im Markt Abhilfe geschaffen werden kann.