Wenn Vermarkter wie wir Zielseiten erstellen, Kopien von E-Mails schreiben oder Handlungsaufforderungen entwerfen, kann es verlockend sein, mit unserer Intuition vorherzusagen, was Menschen zum Klicken und Konvertieren bringt.
Marketingentscheidungen auf "Stimmung" zu stützen, kann sich jedoch sehr nachteilig auf die Ergebnisse auswirken. Anstatt sich auf Vermutungen oder Annahmen zu verlassen, um diese Entscheidungen zu treffen, ist es viel besser, einen A / B-Test durchzuführen, der manchmal als Split-Test bezeichnet wird.
A / B-Tests können wertvoll sein, da sich unterschiedliche Zielgruppen unterschiedlich verhalten. Etwas, das für ein Unternehmen funktioniert, funktioniert möglicherweise nicht unbedingt für ein anderes. In der Tat hassen CRO-Experten (Conversion Rate Optimization) den Begriff "Best Practice", da er möglicherweise nicht die beste Vorgehensweise ist .
A / B-Tests können aber auch komplex sein. Wenn Sie nicht aufpassen, können Sie falsche Annahmen darüber treffen, was die Leute mögen und was auf sie klickt. Diese Entscheidungen können andere Teile Ihrer Strategie leicht falsch informieren.
Lesen Sie weiter, um zu erfahren, wie Sie A, B-Tests vor, während und nach der Datenerfassung durchführen, damit Sie anhand Ihrer Ergebnisse die besten Entscheidungen treffen können.
Um einen A / B-Test auszuführen, müssen Sie zwei verschiedene Versionen eines Inhalts mit Änderungen an einer erstellen variabel. Anschließend werden Sie diese beiden Versionen zwei Zielgruppen ähnlicher Größe vorstellen und diskutieren, welche für einen bestimmten Zeitraum am besten funktioniert hat (lange genug, um genaue Schlussfolgerungen über Ihre Ergebnisse zu ziehen).
Quelle
Mithilfe von A / B-Tests können Marketer erkennen, wie eine Version von Marketinginhalten mit einer anderen zusammenarbeitet. Hier sind zwei Arten von A / B-Tests, die Sie durchführen können, um die Conversion-Rate Ihrer Website zu erhöhen:
Beispiel 1: User Experience Test
Vielleicht möchten Sie sehen, ob das Verschieben einer bestimmten CTA-Schaltfläche (Call to Action) an den Anfang Ihrer Startseite, anstatt sie in der Seitenleiste zu belassen, Ihre Klickrate verbessert.
Um diese A / B-Theorie zu testen, würde ich eine andere alternative Website erstellen, die die Standortänderung des CTA widerspiegelt. Das vorhandene Design oder das "Kontrolle"- ist Version A. Version B ist der" Herausforderer ". Dann würde ich diese beiden Versionen testen, indem ich sie einem vorgegebenen Prozentsatz der Website-Besucher zeige. Idealerweise ist der Prozentsatz der Besucher, die eine der beiden Versionen sehen, der gleiche.
Erfahren Sie, wie Sie A / B einer Komponente Ihrer Website mit dem HubSpot Marketing Hub einfach testen können.
Beispiel 2: Designtest
Vielleicht möchten Sie wissen, ob das Ändern der Farbe Ihrer CTA-Schaltfläche (Call to Action) Ihre Klickrate erhöhen kann.
Um diese A / B-Theorie zu testen, würde ich eine alternative CTA-Schaltfläche mit einer anderen Schaltflächenfarbe entwerfen, die als Ziel zur Zielseite führt. Wenn Sie in Ihren Marketinginhalten im Allgemeinen eine rote Handlungsaufforderungstaste verwenden und die grüne Variante nach Ihrem A / B-Test mehr Klicks erhält, sollten Sie möglicherweise die Standardfarbe Ihrer Handlungsaufforderungstasten in Grün ändern von nun an.
Weitere Informationen zu A / B-Tests finden Sie hier in unserer kostenlosen Einführung.
Die Vorteile von A / B-Tests
A / B-Tests haben für ein Marketing-Team eine Vielzahl von Vorteilen, je nachdem, was sie testen möchten. Vor allem aber sind diese Tests für ein Unternehmen wertvoll, weil sie kostengünstig, aber sehr lohnend sind.
Angenommen, Sie beschäftigen einen Content-Ersteller mit einem Gehalt von 50.000 US-Dollar pro Jahr. Dieser Ersteller von Inhalten veröffentlicht fünf Artikel pro Woche für den Blog des Unternehmens, insgesamt 260 Artikel pro Jahr. Wenn der durchschnittliche Blog-Beitrag eines Unternehmens 10 Leads generiert, kann man sagen, dass die Generierung von 10 Leads für das Unternehmen etwas mehr als 192 US-Dollar kostet (Gehalt von 50.000 US-Dollar ÷ 260 Artikeln = 192 US-Dollar pro Artikel). Das ist ein fester Bestandteil der Veränderung.
Wenn Sie diesen Ersteller von Inhalten bitten, zwei Tage damit zu verbringen, einen A / B-Test für einen Artikel zu entwickeln, anstatt Artikel in diesem Zeitraum zu schreiben, könnten Sie 192 US-Dollar verbrennen, weil Sie einen Artikel weniger veröffentlichen. Wenn dieser A / B-Test jedoch feststellt, dass Sie die Conversion-Rate für jeden Artikel von 10 auf 20 Leads erhöhen können, haben Sie gerade 192 US-Dollar ausgegeben, um möglicherweise die Anzahl der Kunden zu verdoppeln, die Ihr Unternehmen von Ihrem Blog erhält.
Wenn der Test fehlschlägt, haben Sie natürlich 192 US-Dollar verloren, aber jetzt können Sie Ihren A / B-Test noch höflicher gestalten. Wenn dieser zweite Test die Conversion-Rate Ihres Blogs verdoppelt, haben Sie schließlich 284 US-Dollar ausgegeben, um das Einkommen Ihres Unternehmens zu verdoppeln. Unabhängig davon, wie oft Ihr A / B-Test fehlschlägt, überwiegt Ihr endgültiger Erfolg fast immer die Kosten für die Durchführung.
Es gibt viele Arten von Split-Tests, die Sie ausführen können, damit sich das Experiment am Ende lohnt. Hier sind einige allgemeine Ziele, die Vermarkter für ihr Geschäft haben, wenn sie A / B-Tests durchführen:
- Erhöhter Website-Verkehr: Durch das Testen verschiedener Blog-Beiträge oder Webseitentitel kann die Anzahl der Personen geändert werden, die auf diesen Titel verlinkt haben, um auf Ihre Website zuzugreifen. Dies kann den Website-Verkehr erhöhen.
- Höhere Conversion-Rate: Durch Testen verschiedener Positionen, Farben oder sogar Ankertexte in Ihren CTAs kann sich die Anzahl der Personen ändern, die auf diese CTAs klicken, um eine Zielseite zu erreichen. Dies kann die Anzahl der Personen erhöhen, die Formulare auf Ihrer Website ausfüllen, Ihnen ihre Kontaktinformationen senden und potenzielle Kunden werden.
- Niedrige Absprungrate: Wenn Ihre Website-Besucher nach dem Besuch Ihrer Website die Website schnell verlassen (oder "abprallen"), können Sie diese Absprungrate verringern und mehr Besucher behalten, wenn Sie verschiedene Blogpost-Einführungen, Quellen oder vorgestellte Bilder ausprobieren.
- Aufgabe des Unterwagens: Laut MightyCall verlassen E-Commerce-Unternehmen 40% – 75% der Kunden ihre Website mit Artikeln im Warenkorb. Dies wird als "Abbruch des Einkaufswagens" bezeichnet. Durch das Ausprobieren verschiedener Produktfotos, Layouts von Checkout-Seiten und sogar dort, wo Versandkosten angezeigt werden, kann diese Abbrecherquote verringert werden.
Lassen Sie uns nun die Checkliste durchgehen, um einen A / B-Test einzurichten, auszuführen und zu messen.
So führen Sie A / B-Tests durch
Vor dem A / B-Test
1. Wählen Sie eine zu testende Variable aus.
Wenn Sie Ihre Webseiten und E-Mails optimieren, stellen Sie möglicherweise fest, dass Sie eine Reihe von Variablen testen möchten. Um jedoch zu beurteilen, wie effektiv eine Änderung ist, sollten Sie eine "unabhängige Variable" isolieren und ihre Leistung messen. Andernfalls können Sie nicht sicher sein, wer für die Leistungsänderungen verantwortlich war.
Sie können mehr als eine Variable für eine einzelne Webseite oder E-Mail testen. Probieren Sie sie einfach einzeln aus.
Sehen Sie sich die verschiedenen Elemente in Ihren Marketingressourcen und Ihre möglichen Design-, Texterstellungs- und Designalternativen an. Sie können auch versuchen, Betreffzeilen für E-Mails, Absendernamen und verschiedene Möglichkeiten zum Anpassen Ihrer E-Mails zu verwenden.
Denken Sie daran, dass selbst einfache Änderungen, wie das Ändern des Bildes in Ihrer E-Mail oder der Wörter auf Ihrer Handlungsaufforderungstaste, zu enormen Verbesserungen führen können. Tatsächlich sind diese Arten von Änderungen normalerweise einfacher zu messen als größere.
Hinweis: Es gibt Zeiten, in denen es sinnvoller ist, mehrere Variablen anstelle einer einzelnen Variablen zu testen. Dies ist ein Prozess, der als multivariates Testen bezeichnet wird. Wenn Sie sich fragen, ob Sie einen A / B-Test anstelle eines multivariaten Tests durchführen sollten, finden Sie hier einen nützlichen Optimizely-Artikel zum Vergleich der beiden.
2. Identifizieren Sie Ihr Ziel.
Obwohl Sie für jeden Test eine Reihe von Metriken messen, wählen Sie eine primäre Metrik aus, auf die Sie sich konzentrieren möchten – führen Sie den Test aus. Tun Sie dies sogar, bevor Sie die zweite Variante einrichten. Dies ist Ihre "abhängige Variable".
Überlegen Sie, wo sich diese Variable am Ende des Divisionstests befinden soll. Könnten Sie einen Offizier erklären? Hypothese und überprüfen Sie Ihre Ergebnisse basierend auf dieser Vorhersage.
Wenn Sie bis später warten, um zu überlegen, welche Metriken für Sie wichtig sind, welche Ziele Sie verfolgen und wie sich die von Ihnen vorgeschlagenen Änderungen auf das Benutzerverhalten auswirken können, konfigurieren Sie den Test möglicherweise nicht auf die effektivste Weise.
3. Erstellen Sie eine 'Kontrolle' und einen 'Herausforderer'.
Sie haben jetzt Ihre unabhängige Variable, Ihre abhängige Variable und Ihr gewünschtes Ergebnis. Verwenden Sie diese Informationen, um die unveränderte Version des zu testenden Objekts als "Steuerelement" zu konfigurieren. Wenn Sie eine Webseite testen, ist dies die unveränderte Webseite, wie sie bereits vorhanden ist. Wenn Sie eine Zielseite testen, ist dies das Layout und die Kopie der Zielseite, die Sie normalerweise verwenden würden.
Erstellen Sie von dort aus eine Variation oder einen "Herausforderer" – die Website, die Zielseite oder die E-Mail, die Sie mit Ihrer Kontrolle testen werden. Wenn Sie sich beispielsweise fragen, ob das Einfügen eines Testimonials in eine Zielseite einen Unterschied bewirken würde, richten Sie Ihre Kontrollseite ohne Testimonials ein. Erstellen Sie dann Ihre Variation mit einem Testimonial.
4. Teilen Sie Ihre Stichprobengruppen gleichmäßig und zufällig auf.
Bei Tests, bei denen Sie mehr Kontrolle über die Zielgruppe haben, z. B. E-Mails, müssen Sie mit zwei oder mehr gleichen Zielgruppen testen, um endgültige Ergebnisse zu erzielen.
Wie Sie dies tun, hängt vom verwendeten A / B-Testwerkzeug ab. Wenn Sie ein HubSpot Enterprise-Kunde sind, der beispielsweise einen A / B-Test für eine E-Mail durchführt, teilt HubSpot den Datenverkehr automatisch in seine Variationen auf, sodass jede Variation eine zufällige Stichprobe von Besuchern erhält.
5. Bestimmen Sie Ihre Stichprobengröße (falls zutreffend).
Wie Sie Ihre Stichprobengröße bestimmen, hängt auch von Ihrem A / B-Testwerkzeug und der Art des von Ihnen durchgeführten A / B-Tests ab.
Wenn Sie eine A / B-E-Mail testen, möchten Sie wahrscheinlich einen A / B-Test an einen kleineren Teil Ihrer Liste senden, um statistisch signifikante Ergebnisse zu erhalten. Schließlich werden Sie einen Gewinner auswählen und die Gewinnvariante an den Rest der Liste senden. (Weitere Informationen zur Berechnung der Stichprobengröße finden Sie im eBook "Science of Split Testing" am Ende dieses Artikels.)
Wenn Sie ein HubSpot Enterprise-Kunde sind, können Sie die Größe Ihrer Stichprobengruppe mithilfe eines Schiebereglers bestimmen. Damit können Sie einen 50/50-A / B-Test für jede Stichprobengröße durchführen, obwohl für alle anderen Stichprobenbereiche eine Liste mit mindestens 1.000 Empfängern erforderlich ist.
Wenn Sie etwas testen, das eine begrenzte Zielgruppe hat, z. B. eine Webseite, wirkt sich die Dauer des Testlaufs direkt auf Ihre Stichprobengröße aus.
Sie müssen Ihren Test lange genug laufen lassen, um eine beträchtliche Anzahl von Ansichten zu erhalten. Andernfalls ist es schwierig zu erkennen, ob zwischen den beiden Variationen ein statistisch signifikanter Unterschied bestand.
6. Entscheiden Sie, wie wichtig Ihre Ergebnisse sein sollen.
Überlegen Sie sich nach Auswahl Ihrer Zielmetrik, wie wichtig Ihre Ergebnisse sein müssen, um die Auswahl einer Variante gegenüber einer anderen zu rechtfertigen. Die statistische Signifikanz ist ein sehr wichtiger Teil des A / B-Testprozesses, der häufig falsch interpretiert wird. Wenn Sie ein Update zur statistischen Signifikanz aus Marketing-Sicht benötigen, empfehle ich dringend, diesen Blog-Beitrag zu lesen.
Je höher der Prozentsatz Ihres Vertrauensniveaus ist, desto sicherer sind Sie von Ihren Ergebnissen. In den meisten Fällen möchten Sie ein Mindestvertrauensniveau von 95%, vorzugsweise sogar 98%, insbesondere wenn es sich um ein zeitaufwändiges Experiment handelt. Manchmal ist es jedoch sinnvoll, eine niedrigere Konfidenzrate zu verwenden, wenn der Test nicht so streng sein muss.
Matt Rheault, Senior Software Engineer bei HubSpot, betrachtet statistische Signifikanz gerne als eine Wette. Mit welchen Gewinnchancen können Sie eine Wette abschließen? Die Aussage "Ich bin zu 80% sicher, dass dies das richtige Design ist und ich bin bereit, alles zu wetten" ähnelt der Durchführung eines A / B-Tests mit 80% Wichtigkeit und der anschließenden Bekanntgabe eines Gewinners.
Rheault sagt auch, dass Sie wahrscheinlich eine höhere Konfidenzschwelle wünschen, wenn Sie etwas ausprobieren, das die Konversationsrate nur geringfügig verbessert. Warum? Weil zufällige Variationen eher eine größere Rolle spielen.
"Ein Beispiel, bei dem wir uns sicherer fühlen könnten, wenn wir unsere Vertrauensschwelle senken, ist ein Experiment, das die Conversion-Rate wahrscheinlich um 10% oder mehr verbessern wird, wie ein neu gestalteter Heldenabschnitt", erklärte er.
"Die Schlussfolgerung hier ist, dass je radikaler die Änderung ist, desto weniger wissenschaftlich sollten wir in Bezug auf den Prozess sein. Je spezifischer die Änderung (Tastenfarbe, Mikrokopie usw.), desto wissenschaftlicher sollten wir sein, da die Änderung geringer ist wahrscheinlich einen großen und spürbaren Einfluss auf die Conversion-Rate haben. "
7. Stellen Sie sicher, dass in jeder Kampagne jeweils nur ein Test ausgeführt wird.
Das Testen von mehr als einer Sache für eine einzelne Kampagne, selbst wenn sie sich nicht auf genau demselben Asset befindet, kann Ihre Ergebnisse erschweren. Wenn A / B beispielsweise eine E-Mail-Kampagne testet, die auf eine Zielseite abzielt, während A / B diese Zielseite testet, woher wissen Sie, welche Änderung die Zunahme der Leads verursacht hat?
Während des A / B-Tests
8. Verwenden Sie ein A / B-Testwerkzeug.
Um einen A / B-Test auf Ihrer Website oder in einer E-Mail durchzuführen, müssen Sie ein A / B-Testtool verwenden. Wenn Sie ein HubSpot Enterprise-Kunde sind, verfügt die HubSpot-Software über Funktionen, mit denen Sie A / B-E-Mails testen können (Informationen) wie hier), Handlungsaufforderungen (hier erfahren) und Zielseiten (hier erfahren).
Für Nicht-HubSpot Enterprise-Kunden gehören zu den weiteren Optionen Google Analytics Experiments, mit denen Sie bis zu 10 Vollversionen einer einzelnen Webseite testen und deren Leistung mit einer zufälligen Stichprobe von Nutzern vergleichen können.
9. Testen Sie beide Varianten gleichzeitig.
Die Zeit spielt eine wichtige Rolle für die Ergebnisse Ihrer Marketingkampagne, sei es die Tageszeit, der Wochentag oder der Monat des Jahres. Wenn Sie Version A einen Monat und Version B einen Monat später ausführen müssten, wie würden Sie wissen, ob die Leistungsänderung durch das unterschiedliche Design oder den unterschiedlichen Monat verursacht wurde?
Wenn Sie A / B-Tests ausführen, müssen Sie beide Varianten gleichzeitig ausführen, da Sie sonst möglicherweise Ihre Ergebnisse erraten müssen.
Die einzige Ausnahme besteht darin, dass Sie die Zeit selbst testen, z. B. die optimalen Zeiten für das Senden von E-Mails. Dies ist eine großartige Sache, um zu versuchen, denn je nachdem, was Ihr Unternehmen anbietet und wer Ihre Abonnenten sind, kann der optimale Zeitpunkt für die Kundenbindung je nach Branche und Zielmarkt erheblich variieren.
10. Geben Sie dem A / B-Test genügend Zeit, um nützliche Daten zu erstellen.
Auch hier sollten Sie sicherstellen, dass Ihr Test lange genug läuft, um eine beträchtliche Stichprobengröße zu erhalten. Andernfalls ist es schwierig zu wissen, ob zwischen den beiden Variationen ein statistisch signifikanter Unterschied bestand.
Wie lange ist genug Abhängig von Ihrem Unternehmen und der Art und Weise, wie Sie den A / B-Test durchführen, können Sie statistisch signifikante Ergebnisse in Stunden … oder Tagen … oder Wochen erhalten. Ein großer Teil der Zeit, die benötigt wird, um statistisch signifikante Ergebnisse zu erzielen, ist die Menge an Traffic, die Sie erhalten. Wenn Ihr Unternehmen also nicht viel Traffic auf Ihre Website erhält, dauert es viel länger, einen A / B-Test durchzuführen.
Theoretisch sollten Sie die Zeit, in der Sie die Ergebnisse sammeln, nicht einschränken. (Weitere Informationen zu Stichprobengröße und Timing finden Sie in diesem Blogbeitrag.)
11. Fordern Sie Feedback von echten Benutzern an.
A / B-Tests haben viel mit quantitativen Daten zu tun … aber das hilft Ihnen nicht unbedingt zu verstehen, dass Menschen bestimmte Maßnahmen gegenüber anderen ergreifen. Warum sammeln Sie während der Durchführung Ihres A / B-Tests kein qualitatives Feedback von echten Benutzern?
Eine der besten Möglichkeiten, Menschen nach ihrer Meinung zu fragen, ist eine Umfrage oder Umfrage. Sie können auf Ihrer Website eine Exit-Umfrage hinzufügen, in der Besucher gefragt werden, warum sie nicht auf einen bestimmten CTA geklickt haben, oder eine auf ihren Dankesseiten, in der Besucher gefragt werden, warum sie auf eine Schaltfläche geklickt oder ein Formular ausgefüllt haben.
Sie können zum Beispiel feststellen, dass viele Leute auf einen Aufruf zum Handeln geklickt haben, der zu einem E-Book führte, aber als sie den Preis sahen, wurden sie nicht konvertiert. Diese Art von Informationen gibt Ihnen viele Informationen darüber, warum sich Ihre Benutzer auf bestimmte Weise verhalten.
Nach dem A / B-Test
12. Konzentrieren Sie sich auf Ihre Zielmetrik.
Auch wenn Sie mehrere Metriken messen, sollten Sie sich bei Ihrer Analyse weiterhin auf diese primäre Zielmetrik konzentrieren.
Wenn Sie beispielsweise zwei Varianten einer E-Mail ausprobiert und Leads als primäre Metrik ausgewählt haben, lassen Sie sich nicht von der Öffnungsrate oder der Klickrate einfangen. Möglicherweise sehen Sie eine hohe Klickrate und niedrige Conversion-Raten. In diesem Fall wählen Sie möglicherweise die Variante aus, die am Ende eine niedrigere Klickrate aufweist.
13. Messen Sie die Wichtigkeit Ihrer Ergebnisse mit unserem A / B-Testrechner.
Nachdem Sie festgestellt haben, welche Variation am besten funktioniert, müssen Sie feststellen, ob Ihre Ergebnisse statistisch signifikant sind oder nicht. Mit anderen Worten, reichen sie aus, um eine Änderung zu rechtfertigen?
Um dies herauszufinden, müssen Sie einen Test auf statistische Signifikanz durchführen. Sie können dies manuell tun … oder Sie können die Ergebnisse Ihres Experiments einfach mit unserem kostenlosen A / B-Testrechner verbinden.
Für jede Variante, die Sie ausprobiert haben, werden Sie aufgefordert, die Gesamtzahl der Versuche einzugeben, z. B. gesendete E-Mails oder angezeigte Impressionen. Geben Sie dann die Anzahl der erreichten Ziele ein. Im Allgemeinen werden Klicks angezeigt, dies kann jedoch auch eine andere Art von Conversions sein.
