Kürzlich habe ich eine A / B-Split-Test-Fallstudie veröffentlicht, in der ein E-Commerce-Shop die Absprungrate um 20% reduziert hat. Einige der Blog-Leser waren besorgt über die statistische Signifikanz der Ergebnisse. Ihr Hauptanliegen war, dass ein Wert von 125-150 Besuchern pro Variation nicht ausreicht, um zuverlässige Ergebnisse zu erzielen. Dieses Problem ist ein typisches Nebenprodukt der flüchtigen Kenntnis der Statistiken, die A / B-Tests (und multivariate Tests) ermöglichen. Ich schreibe diesen Beitrag, um eine grundlegende Einführung in die Mathematik von a / b-Split-Tests zu geben, damit Sie nie zu einer Schlussfolgerung über die Zuverlässigkeit von Testergebnissen kommen, die einfach auf der Anzahl der Besucher basiert.
Was genau steckt hinter A / B-Split-Tests?
Stellen Sie sich Ihre Website als eine Black Box vor, die Kugeln in zwei Farben (rot und grün) in ungleichen Anteilen enthält. Jedes Mal, wenn ein Besucher auf Ihre Website kommt, zieht er einen Ball aus dieser Schachtel – wenn er grün ist, tätigen sie einen Kauf. Wenn der Ball rot ist, verlassen Sie bitte die Website. Auf diese Weise entscheidet im Wesentlichen diese Black Box über die Conversion-Rate Ihrer Website.
Ein wichtiger Punkt hierbei ist, dass Sie nicht in das Diagramm schauen können, um die Anzahl der verschiedenfarbigen Kugeln zu zählen, um die wahre Conversion-Rate zu bestimmen. Sie können nur die Conversion-Rate basierend auf den verschiedenen Bällen, die Sie aus dieser Box sehen, verwenden. Da es sich bei der Conversion-Rate um eine Schätzung (oder eine Vermutung) handelt, haben Sie immer einen Bereich dafür. Niemals einen einzigen Wert. Mathematisch gesehen beschreiben Sie einen Bereich beispielsweise folgendermaßen:
“Nach meinen Informationen liegt die Conversion-Rate meiner Website in 95% der Fälle zwischen 4,5% und 7%.”
Es überrascht nicht, dass Sie mit mehr Besuchern mehr Bälle sehen können. Daher wird Ihr Bereich enger und Ihre Schätzung nähert sich allmählich der tatsächlichen Conversion-Rate.
Die Mathematik der A / B-Teilungstests
Mathematisch wird die Konvertierungsrate durch eine binomische Zufallsvariable dargestellt. Dies ist eine ausgefallene Art zu sagen, dass sie zwei mögliche Werte haben kann: Konvertierung oder keine Konvertierung. Nennen wir diese Variable wie. Unsere Aufgabe ist es, den Wert von zu schätzen und dafür Versuche durchzuführen (oder Website-Besuche zu beobachten). Nachdem wir uns diese Besuche angesehen haben, berechnen wir, wie viele Besuche zu einer Conversion geführt haben. Dieser prozentuale Wert (den wir von 0 bis 1 anstelle von 0% bis 100% darstellen) ist die Conversion-Rate Ihrer Website.
Stellen Sie sich nun vor, Sie wiederholen dieses Experiment mehrmals. Es ist sehr wahrscheinlich, dass zufällig jedes Mal, wenn Sie einen anderen Wert von berechnen. Wenn Sie alle (unterschiedlichen) Werte von verwenden, erhalten Sie einen Bereich für die Conversion-Rate (was wir für den nächsten Schritt der Analyse wünschen). Um wiederholte Experimente zu vermeiden, haben Statistiken einen ordentlichen Trick in ihrer Toolbox. Es gibt ein Konzept namens, das angibt, wie viel Abweichung von der durchschnittlichen Conversion-Rate () zu erwarten ist, wenn dieses Experiment mehrmals wiederholt wird. Je kleiner die Abweichung ist, desto sicherer können Sie die tatsächliche Conversion-Rate schätzen. Für eine bestimmte Conversion-Rate () und eine Anzahl von Versuchen () wird der Standardfehler wie folgt berechnet:
Um ins Detail zu gehen, multiplizieren Sie den Standardfehlerwert mit 2 (genauer gesagt mit 1,96), um einen Bereich von 95% für die Conversion-Rate zu erhalten. Mit anderen Worten, Sie können mit 95% iger Sicherheit sicher sein, dass Ihre tatsächliche Conversion-Rate in diesem Bereich liegt:% ± 2 *
(In VWO wird der Conversion-Ratenbereich in den Berichten für 80% und nicht für 95% angezeigt. Daher multiplizieren wir den Standardfehler mit 1,28.)
Was hat das mit der Zuverlässigkeit der Ergebnisse zu tun?
Zusätzlich zur Berechnung der Conversion-Rate der Website berechnen wir in einem A / B-Split-Test einen Bereich für deren Variationen. Da wir bereits (mit 95% iger Sicherheit) festgestellt haben, dass die tatsächliche Conversion-Rate innerhalb liegt Außerhalb dieses Bereichs müssen wir uns nur noch die Überlappung zwischen dem Conversion-Ratenbereich (Kontrolle) der Website und ihrer Varianz ansehen. Wenn es keine Überlappung gibt, ist die Varianz definitiv besser (oder schlechter, wenn die Varianz eine niedrigere Conversion-Rate aufweist) als die Kontrolle. So einfach ist das.
Angenommen, die Kontrollumwandlungsrate hat einen Bereich von 6,5% ± 1,5% und eine Varianz einen Bereich von 9% ± 1%. In diesem Fall gibt es keine Überlappung und Sie können sicher sein, dass die Ergebnisse zuverlässig sind.
Sie nennen das alles Mathe einfach?
Okay, es ist nicht wirklich einfach, aber es ist definitiv intuitiv. Verwenden Sie ein Tool wie VWO Testing, das automatisch alle Berechnungen für Sie ausführt, um den Aufwand zu vermeiden, alle Berechnungen selbst durchzuführen. Wenn Sie manuell testen (wie bei AdWords), verwenden Sie unseren kostenlosen A / B-Split-Test-Signifikanzrechner.
Was ist die Lektion zum Mitnehmen hier?
Verwenden Sie einen A / B-Split-Test-Rechner, um die Signifikanz der Ergebnisse zu bestimmen, bevor Sie zu Schlussfolgerungen gelangen. Manchmal können Sie signifikante Ergebnisse allein aufgrund der Anzahl der Besucher als nicht signifikant abtun. Manchmal denken Sie vielleicht, dass die Ergebnisse aufgrund der großen Anzahl von Besuchern signifikant sind, obwohl dies nicht der Fall ist.
Sie möchten wirklich beide Szenarien vermeiden, oder?
