Att beräkna konverteringsgraden är en vanlig praxis när det gäller att övervaka prestanda i företag. Om du vill avgöra hur många potentiella kunder som har konverterats, dividera helt enkelt det totala antalet konverteringar med det totala antalet potentiella kunder. Detta tillvägagångssätt fungerar bra när konverteringar görs på kort tid (några timmar). Men när omvandlingar sker efter en betydande fördröjning på dagar, veckor eller till och med månader, hur säkerställer du att du beräknar din omvandlingsfrekvens korrekt?
Problemet med försenade konverteringar
När konverteringen är försenad märks besök som icke-konverteringar utan att tilldelas tillräcklig observation. Anta att du är orolig över lead rate för att köpa en dyr produkt. Du kan få tusentals potentiella kunder för den produkten; Ett köp kan dock ta flera dagar eller veckor från dagen för kundens första besök. Att markera en besökare som icke-konverterad efter det första besöket kommer därför att resultera i en kraftigt reducerad konverteringsfrekvens, vilket är missvisande.
För att göra VWO-rapporteringen mer insiktsfull tog vårt datavetenskapsteam på utmaningen att utveckla en strategi för att korrekt analysera konverteringsfrekvensen i experiment där konverteringar sker efter en betydande fördröjning. I den här artikeln kommer jag att dela med mig av våra lärdomar från den här övningen och mot slutet kommer jag också att berätta varför vi inte följer den vidare.
Standardmetoden för att beräkna konverteringsgraden
Vi analyserade ett test med fördröjda konverteringar som kördes på vår plattform. Nedan är statistiken för kampanjen som kördes på VWO:
För att beräkna den förväntade konverteringsfrekvensen kan vi helt enkelt dividera de totala konverteringarna med det totala antalet besökare. Dessutom, genom att använda en lämplig Bayesiansk eller frekvent metodik, kan vi få ännu mer osäkerhet i din uppskattning. Men vad händer om vissa konverteringar sker efter en fördröjning? Hur påverkas dessa uppskattningar?
För att förstå detta, låt oss titta på hur fördelningen av tid att konvertera ser ut i varje variant.
Från diagrammet kan vi se att medan de flesta konverteringar sker på en dag, tar det upp till 22 dagar för vissa besökare att konvertera. Om tillräcklig observationstid inte tillhandahålls kommer flera konverteringar att markeras som icke-konverteringar. För att förstå effekten av detta, låt oss ta en titt på grafen för daglig konverteringsfrekvens:
Av grafen framgår att konverteringsgraden minskar med tiden. Betyder detta att besökare under testets senare dagar är mindre benägna att konvertera än de i början? Inte riktigt. Vi gav inte sena användare tillräckligt med tid för att konvertera och stämplade dem som icke-konverterande; därför började den observerade konverteringsfrekvensen minska.
Så vad kan man göra åt detta?
Enkel lösning: Välj en fast ångerperiod under vilken en besökare inte kommer att beaktas i beräkningen av konverteringsfrekvensen. På så sätt kan vi kontrollera felaktigt taggade icke-konverteringar. Men med detta tillvägagångssätt kommer vi inte att kunna använda tillgänglig information om konverteringar som inträffade under nedkylningsperioden och vi kommer inte att känna till omvandlingsfrekvenserna från nedkylningsperioden. Dessutom kan det i många situationer vara svårt att hitta en lämplig tröskel för en betänketid.
Varför är lat konverteringsanalys viktig i ett A/B-test?
Om konverteringar sker direkt efter besök är det okej att titta på standardkonverteringsfrekvenser. Men problemet uppstår när det finns en fördröjning och målet är att hitta en variant som ger:
- Tidiga konverteringar – Anta att du vill marknadsföra en semesterrea med din hemsidas banner och letar efter en variant som ger dig fler klick så snabbt som möjligt. Målet här är att hitta en banner som kan fånga uppmärksamhet och locka användare att klicka på den direkt.
- Långsiktiga konverteringar – Anta att du är ett privatlånefinansieringsföretag och du vill testa två låneinköpsstrategier där varje strategi har sina egna unika egenskaper. I det här fallet kan det ta flera dagar innan konverteringar inträffar och du vill hitta en strategi som har potential att ge dig högre konverteringar på lång sikt.
Föreställ dig nu att du beräknar konverteringsgraden med standardmetoden; I så fall kommer du sannolikt att missa de mål som nämns ovan, där konverteringstid är ett mycket viktigt mått för beslutsfattande.
Uppskattning av konverteringsgrad som funktion av tid
För att hantera försenade konverteringar utforskade vi Survival Analysis, som är känt för att analysera tiden tills en eller flera händelser inträffar. Med Kaplan-Meier-uppskattning, en icke-parametrisk teknik för att uppskatta överlevnadsgrad, kan vi beräkna omvandlingsfrekvenser mer formellt.
I den här grafen visar x-axeln hur lång tid som har gått sedan besökarna blev en del av testet, och y-axeln visar konverteringsfrekvensen. Så i variant 1 visar omvandlingsfrekvensen för besökare som har 23 dagar på sig att konvertera i testet en konverteringsfrekvens på 9,57 %, och besökare som bara hade tre dagar visar en konverteringsfrekvens på 5,03 %.
Genom att titta på konverteringsfrekvensen som en funktion av tid kan vi förstå besökarnas konverteringsbeteende mot en variant. Denna kurva ökar monotont av naturen.
Låt mig nu förklara hur man tolkar denna kurva. Anta att 1000 besökare blir en del av testet idag; så plottet ovan säger att om jag observerar dem i 23 dagar, i slutet av den 23:e dagen, kommer 95 av dem att konvertera.
Kohortdiagrammet är i huvudsak ett A/B-test där en variant jämförs med andra variationer vid olika tidpunkter. Med Kaplan-Meier kan vi också erhålla osäkerhetsgränser för konverteringsgraden över tid, som representerar föreställningar om uppskattningar baserade på observerade data.
Uppskattning av förändringen i besökarnas beteende mot en variation.
Genom att utvidga ovanstående tillvägagångssätt kan vi också jämföra hur, inom en variant, konverteringsbeteendet hos tidiga besökare som blev en del av testet skiljer sig från de som deltog i senare skeden. Ingen förändring i beteende skulle innebära en överlagring av alla kurvor.
Diagrammet ovan antyder att besökare i tidiga kohorter är mer benägna att konvertera än besökare i senare skeden. Denna skillnad kan bero på att någon nyligen genomförd effekt observerats i de tidigare kohorterna som inte finns i de senare kohorterna.
Ett veckokohortdiagram gör att vi kan göra en jämförelse mellan äpple och äpple mellan svarsfrekvensen för de senaste kohorterna kontra äldre kohorter.
Varför valde vi att inte lägga till den här funktionen i VWO SmartStats rapporter?
Kohortanalys är ett utmärkt tillvägagångssätt för att se den korrekta bilden av omvandlingsfördröjning till omvandlingsfrekvens. Men för att lägga till det i våra rapporter var det viktigt för oss att förstå dess inverkan på våra befintliga kunder och hur användbart det skulle vara för dem, med tanke på de tester de kör på VWO. Vi analyserade alla tester som kördes på vår plattform under ett år för att utvärdera effekten och fann att mindre än 3 % av kampanjerna hade följande egenskaper:
- En genomsnittlig konverteringstid på mer än en dag.
- En genomsnittlig skillnad på mer än en dag mellan kontroll- och variationskonverteringstider.
Genom att analysera VWO-data insåg vi att konverteringsfördröjning inte är ett stort problem i de flesta tester som körs på VWO. Därför, för att göra våra SmartStats-rapporter intuitiva och lätta att förstå, bestämde vi oss för att inte lägga till den här funktionen i våra huvudrapporter.
Vi planerar att fortsätta studera effekterna av konverteringsfördröjning och vill gärna prata med kunder som kan vara intresserade av den här funktionen. Om du inte är kund och vill prova vår produkt kan du ta en gratis guidad provperiod.
Om du är intresserad av den här funktionen och omvandlingsfördröjning är ett problem i din uppskattning av omvandlingsfrekvensen, diskuterar vi gärna ditt användningsfall i detalj. Kontakta oss på content@vwo.com.
