A/B-Testing als Entscheidungsgrundlage für UX- und Conversion-Optimierung [Teil 9]

Gruppenreise? »Warum nicht« oder: »Um Gottes Willen« … Die Vorstellungen vom perfekten Urlaub sind so unterschiedlich wie die Reisenden selbst. So ist es nicht jedermanns und -fraus Sache, ganz allein in die weite Welt zu ziehen, komplett auf sich gestellt. Immer mehr Menschen möchten gemeinsam mit anderen verreisen, gemeinsam mit anderen neue Erfahrungen sammeln, fremde Orte und Wege erkunden und herausfinden, welche davon tatsächlich die besten sind.
 
Nicht nur für die Teilnehmer einer Gruppenreise bietet diese Art, Urlaub zu machen, Vorteile. Auch die Veranstalter haben durch die Vielzahl der Teilnehmer die Möglichkeit, ihr Angebot stetig zu verbessern. Ist Weg A, den man immer an Tag XY der Reise empfiehlt, tatsächlich klug gewählt oder sollte man für die nächste Reisegruppe mal auf eine andere Route setzen?

Neue Position oder neues Design?

Ob A oder B – die Teilnehmer entscheiden, welcher Weg für sie am Besten funktioniert. Ähnlich läuft das beim A/B-Testing in der virtuellen Welt ab. Nur, dass die Nutzer einer Web- oder Shopsite nicht wissen, ob sie gerade auf Variante A oder B surfen. Wie jetzt? Im neunten Teil unserer Artikelreihe erklären wir euch heute, wie diese Methode der UX- und Conversion-Optimierung funktioniert.

Starten wir mit einem Beispiel: Nach einem Redesign erhält ein Online Shop via Feedbacktool Beschwerden, dass keine Gutscheine während des Checkouts eingelöst werden können. Eine anschließende Prüfung der Analysedaten bestätigt, dass in letzter Zeit tatsächlich weniger Gutscheine eingelöst wurden.

Durch einen A/B-Test kann nun festgestellt werden, ob eine Redesign oder eine Repositionierung des Gutschein Buttons zu weniger Beschwerden und wieder steigenden Conversions führt. Doch wie funktioniert das?

Es gibt eine A- und eine B-Version einer Website oder deren Unterseite(n). Eine der beiden Varianten enthält dabei eine Änderung eines Elements, also eine andere Version oder Position eines Buttons, wie in unserem Gutschein Beispiel.

Inhaltlich dreht es sich bei den A/B-Tests also entweder um nur ein Element, eine Kombination aus Elementen oder aber um ein komplettes Redesign einer Landingpage.

Über das Zufallsprinzip zum Erfolgrezept

Immer werden beide Versionen jedoch zufallsgesteuert ausgeliefert und getestet. Die Nutzer, die sich jeweils auf den Seiten befinden, wissen nicht, dass es zwei Varianten gibt, oder aber, dass sie gerade die eine oder andere testen.

Auch die Veranstalter von Gruppenreisen können durch die Vielzahl der Teilnehmer gut testen, welche ihrer angebotenen Routen und Wege die besten sind. Doch werden sie die Reisenden EINER Reisegruppe kaum in zwei Teams aufteilen und sie simultan auf verschiedene Teststrecken schicken, im wahrsten Sinne des Wortes.

Im Gegensatz zu den Reiseveranstaltern hat das UXD-Team also den Vorteil, dass es die Tests quasi unbemerkt mit Hilfe der Webbesucher durchführen kann.

Die Art und Weise, wie diese A/B Tester sich während ihrer Sessions verhalten, gibt Rückschlüsse darauf, welche der beiden Varianten die bessere ist, sprich welche wenig bis keine Probleme bereitet, kaum Beschwerden verursacht und eine erhöhte Conversion-Rate aufweist.

Dank der Analyse aller Testdaten kann sich das UXD-Team nun für eine der beiden Varianten entschieden. Es wird dabei immer gegen die sogenannte Kontrollvariante, also das Original bzw. die aktuell bestehende Lösung getestet. Hier gibt es je nach Umfang der Änderungen verschiedene Herangehensweisen, wie der Test durchgeführt werden kann:

A/B-Testing

• Eine Variante einer Website wird gegen das »Original« (aktuell bestehende Website) getestet.

A/B/n Testing

• Das Original wird jeweils gegen mehrere Varianten einer Website getestet.

Multivariate Tests

• Jegliche Kombinationen der veränderten Elemente einer Seite werden getestet. Je mehr Varianten es an Elementen gibt, umso größer werden auch die Kombinationsmöglichkeiten. Um dennoch aussagekräftige Ergebnisse zu erhalten, eignet sich diese Methode nur für Seiten mit ausreichendem Traffic.

Split-URL-Tests

• Entgegen der anderen Methoden, werden die Elemente hierbei nicht innerhalb einer Seite geändert, sondern eine Variante unter einer anderen URL aufgesetzt. Nutzer, die die Variante sehen sollen, werden also technisch gesehen auf eine abweichende Seite geleitet. Dieses Vorgehen eignet sich für sehr umfangreiche Änderungen in puncto Funktionalitäten oder gar eines komplett neuen Designs einer Landingpage.

Bandit Testing / Multi-Armed Bandit Testing

• Im Gegensatz zum klassischen A/B-Testing, bei dem erst nach Abschluss des Tests ein Sieger bestimmt und anschließend 100 Prozent der Besucher die Gewinnerversion angezeigt bekommen, wird hier die Test- und Umsetzungsphase kombiniert: Der Besucher wird via Algorithmus bereits während des Testzeitraums automatisch und progressiv auf die Gewinnervariante geleitet und mit ihm mehr Traffic, um z.B. die Conversions, ergo den Umsatz schon während der Tests zu maximieren.

Vorbereiten, Durchführen, Nachbereiten

Doch wie läuft der Prozess des A/B-Testings ab? In der Vorbereitungsphase geht es darum, aus Ideen Hypothesen zu entwickeln und diese für den Ablaufplan der Tests beispielsweise via PIE Framework zu priorisieren. Ein PIE Framework setzt sich zusammen aus:

Potential

• Wie viel Verbesserung ist zu erwarten?

Importance

• Wie viel Traffic läuft über die zu testende Seite?

Ease

• Wie einfach ist es, den Test auf der Seite einzubinden?

Stichwort Einbinden: Das Angebot an Testingtools ist groß. Bei der Suche nach dem richtigen Tool gilt es, sich anhand verschiedener Anforderungen (in Form von Traffic auf den Seiten, Kosten des Tools, Funktionsumfang und zu erwartenden technischem Pflegeaufwand) für ein geeignetes zu entscheiden. Einige dieser Toolings fungieren zudem auch direkt als Personalisierungs-Engine, der kontextsensitiv personalisierte Inhalte ausspielt.

Hat das UXD-Team das für seine Zwecke richtige Tool gefunden, kann es Varianten erstellen und diese gegebenenfalls vorher in Form eines Prototyps in Usability Tests Probe laufen lassen. Nun gilt es, die Seiten zu bestimmen, auf denen getestet werden soll. Je nach Testhypothese und Größe der Stichprobe muss das UXD-Team natürlich Zielgruppe und Testmengenverteilung definieren.

Ein Test kann sich beispielsweise nur an Bestandskunden richten, die eine Seite wegen eines Newsletter Triggers besuchen. Für einen normalen A/B-Test bietet sich eine 50:50-Verteilung der Besucher auf die Varianten an (50 Prozent sehen das Original, 50 Prozent die vermeintlich bessere Variante). Dies trifft auch zu, wenn nur ein bestimmter Teil der Gesamtbesucher überhaupt am A/B-Test teilnehmen sollen. Bei Seiten mit sehr hohem Traffic kann es beispielsweise ausreichend sein, wenn nur zehn Prozent aller Nutzer Teil der Testgruppe werden.

Ebenso wichtig ist es, während der Vorbereitung, KPIs für die Zielerreichungsmessung festzulegen. Sei es der Kauf eines Produkts, der Klick auf ein bestimmtes Element oder die Anmeldung zu einem Newsletter – diese Ziele können als Conversions bezeichnet werden, deren Rate es zu optimieren gilt.

Via eines Baseline Tests stellt das Expertenteam sicher, ob der Test auch einwandfrei funktioniert. Ist dem so, geht es in die nächste Etappe: der Durchführung der Tests per se. Hier werden die Ergebnisse gesichtet.

Von »Moody Monday« bis »Happy Friyay«

Wichtig: Auch externe Faktoren (können) eine Rolle spielen. Selbst wenn (rechnerisch) eine statistische Signifikanz erreicht ist, also davon ausgegangen werden kann, dass das Testergebnis kein Zufall war, sollte der Test nicht direkt beendet werden.

So sollte beispielsweise darauf geachtet werden, dass ein Test immer eine komplette Woche durchläuft, da hier gegebenenfalls aufgrund unterschiedlicher Zielgruppen, die die Website zu unterschiedlichen Tages- oder Wochenzeiten besuchen, Ergebnisse in einem längeren Zeitraum abweichend ausfallen.

Stellt man sich zwei Reisegruppen vor, die an einem Tag zwei Routen begehen, kann die Bewertung am Folgetag, wenn es beispielsweise plötzlich regnerisch anstatt sonnig ist, anders ausfallen. Um dies zu vermeiden und eine grundlegende Tendenz für die bessere Route zu erhalten, sollten die Bewertungen einer ausreichend großen Menge an Reisenden einbezogen werden, die sich über einen bestimmten Zeitraum verteilen.

Ob Webauftritt oder Reiseroute – jedes Testing ist nur so gut wie seine Nachbereitung. Hier geht es an die Auswertung und Dokumentation. Auswirkungen auf zukünftige Tests werden geprüft, die Gewinner-Variante wird festgehalten und performant in den Webauftritt, respektive in das Reiseportfolio eingebunden.

Für den Reiseveranstalter, wie auch das UXD-Team bieten A/B-Testings eine kosteneffiziente Möglichkeit, Hypothesen und Konzepte direkt an der Zielgruppe zu testen. Dieses Verfahren liefert eine datenbasierte Entscheidungsgrundlage, ob Varianten oder Konzepte umgesetzt werden sollten oder nicht.

Viele Ansätze für ein Ziel

Welche Möglichkeiten es noch gibt, das Beste aus seinem User Experience Design zu holen, klären wir nicht nur in dieser Artikelserie, sondern auch in unserem aktuellen Whitepaper »User Experience Design«.

Dort lüften wir die Geheimnisse des UXD und zeigen, nach welchen Prinzipien UX-Designer arbeiten. Anhand einer Vielzahl von Beispielen veranschaulichen wir, wie gutes Design den Unternehmenserfolg garantiert.

Unser neues Whitepaper »User Experience Design« steht hier zum kostenlosen Download bereit.