A/B-testning går hand i hand med varje marknadsförares CRO-strategi. Som marknadsförare eller CRO-proffs kan du inte underskatta värdet av att anta en experimentkultur i din organisation. Men att hitta en optimal variant för att uppnå högre konverteringar är fortfarande en ständig utmaning för onlineföretag.
I sin klassiska form fungerar A/B-testning som en binär modell, en nollhypotes som måste förkastas för att acceptera den alternativa hypotesen. På grund av den komplicerade processen att hämta insikter från ett experiment och fatta avgörande affärsbeslut baserat på dem, har CRO-proffs antagit den mer trovärdiga och intuitiva modellen än den klassiska frekventisten. Det är den Bayesianska modellen.
Den Bayesianska modellen visar bevis på resonemanget bakom ett experiment du kör. I det här blogginlägget har vi utforskat den Bayesianska modellen i detalj, jämfört den med den klassiska frekventistiska metoden och diskuterat dess användningsfall.
Vad är det bayesianska synsättet?
Bayesianskt resonemang är i grunden ett trosbaserat tillvägagångssätt med sin grund i Bayes teorem. Teoremet presenterar ett matematiskt ramverk för att uppdatera dina befintliga föreställningar med inflödet av ny information.
Här har du ett exempel. En läkare kan diagnostisera ett medicinskt problem hos en patient genom att följa endera tillvägagångssättet. Liksom Common skulle du ha ett fast mönster som ställs mot en patients specifika symptom för sin diagnos. Du kan undersöka patienten för dem och identifiera orsaken baserat på den fasta modell du har på plats.
Däremot skulle läkaren som Bayesian fortfarande ha en modell. Jag skulle undersöka patienten för att utvärdera deras tillstånd och identifiera symtom, och dessutom. Därför kommer din diagnos att inkludera aktuella symtom och historiska symptom för att identifiera den verkliga orsaken. Detta tillvägagångssätt kommer att uppdatera din befintliga modell med ny information, vilket kan leda till snabbare innovation utan extra kostnad, tid eller energi som spenderas på diagnostikprocessen.
Ett exempel från StackExchange förenklar detta koncept ytterligare.
Låt oss säga att du har tappat bort din telefon, och eftersom detta händer hela tiden har du köpt en telefonsökare. Din telefon har ett instrument anslutet till basen som talar om för den att börja pipa när du trycker på en knapp på telefonsökaren. Problemet är, var ska du börja din hussökning ifrån?
Om du är en Frequent, skulle din inbyggda modell identifiera området baserat på riktningen för pipljudet. Därför kommer den att köra efter pipsignalerna för att hitta enhetens plats i huset.
Men som Bayesian skulle du komma ihåg platserna där du hittade den senast den försvann. Hittade du den på köksplattan eller nedgrävd under tvättstugan? Du kommer att ha skäl att placera din telefon på dessa platser. Bortsett från pipljudet, kommer att komma ihåg denna information fungera som ett preliminärt steg som kan hjälpa dig att fatta ett evidensbaserat beslut. I det här fallet får du reda på var du ska börja söka.
Den kritiska aspekten av Bayesianskt tänkande är att det låter dig utforska redan existerande föreställningar (a priori) under din undersökning, och dessa föreställningar uppdateras med bevisdata som resulterar i nya föreställningar (a posteriori).
I samband med A/B-testning, varför är den Bayesianska metoden mer fördelaktig än den frekventistiska?
En frekventist, som inte gillar att prata om enskilda händelser, kan höras muttra: “Har jag kommit till sanningen på rätt sätt?” Däremot kan en Bayesian, som bryr sig mer om att uppdatera datadriven åsikt än att hitta den ultimata sanningen, höras högljutt deklarera: “Jag vet inte vad sanningen är, men jag tror att min ursprungliga åsikt skulle förändras nu. Jag har ny information med mig! ” Ganska säker? Okej, ja!
Vi utförde ett A/B-test med hjälp av VWO för att kontrollera om en banner som visas på besökarnas avsikt att avsluta kan öka leadgenereringen på vår blogg. Om vi tittar på det genom den Bayesianska linsen ser vi en varierande grad av förtroende för alla möjliga omvandlingsfrekvenser i den grafiska representationen. Vi drar slutsatsen att kontrollen (ingen banner) är vinnaren, och dessutom har det skett en överlappning i konverteringsfrekvensen mellan 0,25 % och 0,6 %.
Å andra sidan returnerade Frequentist-metoden a = 0,042, vilket också drog slutsatsen att kontrollen är vinnaren.
Det frekventistiska tillvägagångssättet är stenhårt för att nå ett betydande antal besökare för att ge värde, vilket är svårt att sätta i ett affärssammanhang. Vad kan du urskilja med a = 0,042 här? Det kommer sannolikt att göra dig förvirrad.
Som marknadsförare eller tillväxtledare vill du att ditt verktyg ska göra det tunga lyftet när det kommer till statistik och ge dig resultat som hjälper dig att fatta bra affärsbeslut.
Bayesian ger ett mer förnuftigt och intuitivt sätt att optimera dina CRO-insatser. Du uppdaterar dina evidensstödda åsikter när du härleder din förutsägelse och inducerar lärande i experimentcykeln med en kunskapsuppdatering, som visas i bilden nedan.
VWO SmartStats: Bayesianskt sätt
VWO går den Bayesianska vägen med SmartStats, en Bayesiansk-driven statistikmotor för A/B-testning. Denna motor ger dig intelligenta resultat för att fatta smartare affärsbeslut och minskar testtiden.
Den Bayesianska metoden låter dig införliva kunskap i dina experiment iterativt. SmartStats katalyserar detta tillvägagångssätt med hjälp av en icke-informativ förhandsbok där alla möjligheter till konverteringsfrekvens är lika sannolika. Dessutom säkerställer det att du behåller kontrollen och kan övervaka testet allt eftersom det fortskrider och når betydelse över en tidsperiod innan det avslutas.
Låt oss gå tillbaka till exit exit avsiktsbannerexemplet som diskuterades i bloggen. För testning observerade vi att distributionerna initialt var bredare. Men som visas nedan kan du se att de började krympa med mer data.
Sannolikheten att överskrida baslinjen under testets början var nära 50 %, men allt eftersom testet fortskred nådde det 95 % konfidens efter att ha nått 1000 besökare, vilket utropade kontrollen till vinnare.
Om du tittar på experimentets framsteg med avseende på tid och trafik, ser det ut så här med det lägsta antalet besökare, med en ledande (icke signifikant) varians:
Och detta med ~1000 besökare, variationen minskar kraftigt och kontrollen utökas:
Den sista grafen som förklarar kontrollen som vinnare:
Hur möjliggör Bayesian A/B-testning snabbare innovation?
Med förmågan att införliva övertygelser som en del av experimentet, låter Bayesian-metoden dig fatta snabbare beslut med lägre experimentkostnader jämfört med ett frekventistiskt tillvägagångssätt.
Det är vanligt att använda ett Bayesianskt tillvägagångssätt där det är dyrare att köra ett experiment och inte har tillräckligt med data för att fatta ett beslut, oavsett om det är ett medicinskt diagnostiskt test för att urskilja sannolikheten att ha cancer eller att e-post är spam.
Dessutom tillåter den Bayesianska metoden dig att mata en senare del av ett experiment såväl som före ett annat. Därför låter ett A/B-testverktyg baserat på denna modell dig konsekvent och snabbt optimera dina experiment för konverteringar. Du behöver inte lära dig ny data från ditt experiment varje gång, istället mata den senare (läs: uppdateringen) till den tidigare, iterativt, för att avsevärt avgöra förbättringen med mindre data.
Med exit-intent-bannerexperimentet, som diskuterades flitigt på bloggen, tog vi ett snabbt beslut genom att titta på testets framsteg så snart det nådde betydelse. Vi gjorde detta för att minska förlusten av möjlighetsmåttet som var MQLs i det här fallet. Testet avslutades med observationen att en exit-avsiktsbanner inte fungerar på vår blogg. Denna observation kan fungera som datastödda (post)bevis som ska matas in som före våra efterföljande bloggexperiment.
Så vänta inte. Ta ett steg, misslyckas snabbt, lär dig effektivt och växa exponentiellt med iterativa A/B-tester som lovar innovationsmöjligheter i ditt företag för att bevittna astronomiska omvandlingar.
