A/B-Tests gehen Hand in Hand mit der CRO-Strategie jedes Vermarkters. Als Vermarkter oder CRO-Experte können Sie den Wert der Einführung einer Experimentierkultur in Ihrem Unternehmen nicht unterschätzen. Allerdings bleibt es für Online-Unternehmen eine ständige Herausforderung, eine optimale Variante zu finden, um höhere Conversions zu erzielen.
In seiner klassischen Form funktioniert A/B-Testing als binäres Modell, eine Nullhypothese, die verworfen werden muss, um die Alternativhypothese zu akzeptieren. Aufgrund des komplizierten Prozesses, Erkenntnisse aus einem Experiment abzuleiten und auf dieser Grundlage wichtige Geschäftsentscheidungen zu treffen, haben CRO-Experten das glaubwürdigere und intuitivere Modell übernommen als das klassische Frequentist-Modell. Es ist das Bayes’sche Modell.
Das Bayes’sche Modell liefert Beweise für die Überlegungen, die einem von Ihnen durchgeführten Experiment zugrunde liegen. In diesem Blogbeitrag haben wir das Bayes’sche Modell im Detail untersucht, es mit dem klassischen frequentistischen Ansatz verglichen und seine Anwendungsfälle diskutiert.
Was ist der Bayes’sche Ansatz?
Bayesianisches Denken ist im Grunde ein glaubensbasierter Ansatz, der auf dem Satz von Bayes basiert. Das Theorem stellt einen mathematischen Rahmen für die Aktualisierung Ihrer bestehenden Überzeugungen mit dem Zufluss neuer Informationen dar.
Hier haben Sie ein Beispiel. Ein Arzt kann ein medizinisches Problem bei einem Patienten diagnostizieren, indem er einen der beiden Ansätze befolgt. Wie bei Common hätten Sie für die Diagnose ein festes Muster, das den spezifischen Symptomen eines Patienten zugeordnet wäre. Sie können den Patienten danach untersuchen und die Ursache anhand des von Ihnen verwendeten festen Modells ermitteln.
Im Gegensatz dazu hätte der Arzt als Bayesianer immer noch ein Modell. Ich würde den Patienten untersuchen, um seinen Zustand zu beurteilen und Symptome zu identifizieren. Daher umfasst Ihre Diagnose aktuelle und historische Symptome, um die wahre Ursache zu ermitteln. Durch diesen Ansatz wird Ihr bestehendes Modell mit neuen Informationen aktualisiert, was zu schnelleren Innovationen führen kann, ohne dass zusätzliche Kosten, Zeit oder Energie für den Diagnoseprozess aufgewendet werden.
Ein Beispiel von StackExchange vereinfacht dieses Konzept noch weiter.
Nehmen wir an, Sie haben Ihr Telefon verloren und da dies ständig passiert, haben Sie einen Telefonortungsgerät gekauft. An die Basis Ihres Telefons ist ein Instrument angeschlossen, das es anweist, einen Piepton zu ertönen, wenn Sie eine Taste auf dem Telefonpager drücken. Das Problem ist: Wo sollten Sie mit der Haussuche beginnen?
Wenn Sie häufig unterwegs sind, erkennt Ihr eingebautes Modell den Bereich anhand der Richtung des Pieptons. Daher wird es nach den Signaltönen laufen, um den Standort des Geräts im Haus zu ermitteln.
Als Bayesianer würden Sie sich jedoch an die Orte erinnern, an denen Sie es gefunden haben, als es das letzte Mal verschwunden ist. Haben Sie es auf dem Küchenboden gefunden oder unter der Waschküche vergraben? Sie werden Gründe haben, Ihr Telefon an diesen Orten zu platzieren. Abgesehen vom Piepton ist das Merken dieser Informationen ein erster Schritt, der Ihnen dabei helfen kann, eine evidenzbasierte Entscheidung zu treffen. In diesem Fall erfahren Sie, wo Sie mit der Suche beginnen können.
Der entscheidende Aspekt des Bayes’schen Denkens besteht darin, dass es Ihnen ermöglicht, bereits bestehende Überzeugungen (a priori) während Ihrer Untersuchung zu untersuchen und diese Überzeugungen mit Beweisdaten zu aktualisieren, was zu neuen Überzeugungen führt (a posteriori).
Warum ist im Zusammenhang mit A/B-Tests der Bayes’sche Ansatz vorteilhafter als der frequentistische?
Man hört einen Frequentisten, der nicht gerne über einzelne Ereignisse spricht, murmeln: „Habe ich die Wahrheit richtig verstanden?“ Im Gegensatz dazu hört man einen Bayesianer, dem die Aktualisierung datengestützter Meinungen wichtiger ist als die Suche nach der ultimativen Wahrheit, lautstark erklären: „Ich weiß nicht, was die Wahrheit ist, aber ich denke, meine ursprüngliche Meinung würde sich jetzt ändern. Das habe ich.“ Neue Informationen bei mir! ” Ziemlich sicher? Ok ja!
Wir haben mit VWO einen A/B-Test durchgeführt, um zu prüfen, ob ein Banner, das bei der Ausstiegsabsicht der Besucher erscheint, die Lead-Generierung auf unserem Blog steigern kann. Wenn wir es durch die Bayes’sche Linse betrachten, sehen wir in der grafischen Darstellung ein unterschiedliches Maß an Vertrauen in alle möglichen Conversion-Raten. Wir kommen zu dem Schluss, dass die Kontrolle (kein Banner) der Gewinner ist, und darüber hinaus gab es eine Überschneidung bei der Conversion-Rate zwischen 0,25 % und 0,6 %.
Andererseits ergab der Frequentist-Ansatz a = 0,042, was ebenfalls zu dem Schluss führte, dass die Kontrolle der Gewinner ist.
Der Frequentist-Ansatz legt Wert darauf, eine signifikante Besucherzahl zu erreichen, um einen Mehrwert zu erzielen, was sich nur schwer in einen geschäftlichen Kontext einordnen lässt. Was können Sie hier mit a = 0,042 erkennen? Es wird Sie wahrscheinlich verwirren.
Als Vermarkter oder Wachstumsführer möchten Sie, dass Ihr Tool die schwere Arbeit in Sachen Statistiken übernimmt und Ihnen Ergebnisse liefert, die Ihnen dabei helfen, gute Geschäftsentscheidungen zu treffen.
Bayesian bietet eine sinnvollere und intuitivere Möglichkeit, Ihre CRO-Bemühungen zu optimieren. Sie aktualisieren Ihre evidenzgestützten Meinungen, wenn Sie Ihre Vorhersage ableiten und im Experimentzyklus mit einer Wissensaktualisierung Lernen anregen, wie in der Abbildung unten dargestellt.
VWO SmartStats: der Bayes’sche Weg
VWO geht den bayesianischen Weg mit SmartStats, einer auf Bayesian basierenden Statistik-Engine für A/B-Tests. Diese Engine liefert Ihnen intelligente Ergebnisse, um intelligentere Geschäftsentscheidungen zu treffen und verkürzt die Testzeit.
Der Bayes’sche Ansatz ermöglicht es Ihnen, Wissen iterativ in Ihre Experimente einzubeziehen. SmartStats katalysiert diesen Ansatz mithilfe einer nicht-informativen Priorisierung, bei der alle Conversion-Rate-Möglichkeiten gleich wahrscheinlich sind. Darüber hinaus stellt es sicher, dass Sie die Kontrolle behalten und den Fortschritt des Tests überwachen und über einen bestimmten Zeitraum hinweg seine Signifikanz erreichen können, bevor er abgeschlossen wird.
Kehren wir zum Exit-Intent-Banner-Beispiel zurück, das im Blog besprochen wurde. Zum Testen stellten wir fest, dass die Verteilungen anfangs breiter waren. Wie unten gezeigt, können Sie jedoch erkennen, dass sie mit zunehmender Datenmenge zu schrumpfen begannen.
Die Wahrscheinlichkeit, den Ausgangswert zu Beginn des Tests zu überschreiten, lag bei nahezu 50 %, doch im weiteren Verlauf des Tests erreichte sie nach Erreichen von 1.000 Besuchern eine Konfidenz von 95 %, wodurch die Kontrolle zum Gewinner erklärt wurde.
Wenn Sie sich den Fortschritt dieses Experiments in Bezug auf Zeit und Verkehr ansehen, sieht es bei der geringsten Besucherzahl wie folgt aus und zeigt eine führende (nicht signifikante) Variation:
Und das bei ~1000 Besuchern, die Variation nimmt stark ab und die Kontrolle weitet sich aus:
Das letzte Diagramm, das die Kontrolle zum Gewinner erklärt:
Wie ermöglicht Bayesianisches A/B-Testen schnellere Innovationen?
Durch die Möglichkeit, Überzeugungen als Teil des Experiments einzubeziehen, können Sie mit dem Bayes’schen Ansatz im Vergleich zu einem frequentistischen Ansatz schnellere Entscheidungen mit geringeren Experimentierkosten treffen.
Es ist üblich, einen Bayes’schen Ansatz zu verwenden, wenn die Durchführung eines Experiments teurer ist und nicht genügend Daten für eine Entscheidung vorliegen, sei es ein medizinischer Diagnosetest zur Feststellung der Wahrscheinlichkeit einer Krebserkrankung oder eine E-Mail als Spam.
Darüber hinaus ermöglicht Ihnen der Bayes’sche Ansatz, sowohl einen späteren Teil eines Experiments als auch vor einem anderen zu füttern. Daher ermöglicht Ihnen ein auf diesem Modell basierendes A/B-Testtool eine konsistente und schnelle Optimierung Ihrer Experimente für Conversions. Sie müssen nicht jedes Mal neue Daten aus Ihrem Experiment lernen, sondern die späteren Daten (sprich: Aktualisierung) iterativ mit den früheren Daten verknüpfen, um eine deutliche Verbesserung mit weniger Daten zu ermitteln.
Beim Exit-Intent-Banner-Experiment, das im Blog ausführlich besprochen wurde, haben wir eine schnelle Entscheidung getroffen, indem wir uns den Fortschritt des Tests angesehen haben, sobald er Bedeutung erlangte. Wir haben dies getan, um den Verlust der Chancenmetrik, in diesem Fall MQLs, abzumildern. Der Test endete mit der Feststellung, dass ein Exit-Intent-Banner auf unserem Blog nicht funktioniert. Diese Beobachtung kann als datengestützter (Post-)Beweis dienen, der vor unseren nachfolgenden Blogging-Experimenten gespeist wird.
Also warten Sie nicht. Machen Sie einen Schritt, scheitern Sie schnell, lernen Sie effektiv und wachsen Sie exponentiell mit iterativen A/B-Tests, die Innovationsmöglichkeiten in Ihrem Unternehmen versprechen und astronomische Konvertierungen bewirken.
