¬ŅPuedes confiar en tu prueba A / B "Sixth Sense"?

¬ŅPuede confiar en su "sexto sentido" de marketing? El | Publicidad disruptiva

A menudo me sorprende la confianza que tienen las personas en sus pruebas A / B de "sexto sentido".

Lo escucho casi todos los d√≠as, de clientes, amigos, due√Īos de negocios, dise√Īadores, todos me dicen que saben qu√© elementos del sitio generar√°n la mayor cantidad de conversiones.

De hecho, muchas de estas personas me dicen que tienen un buen "sexto sentido" o intuici√≥n de lo que funcionar√° mejor. Algunos me dicen que a√Īos de experiencia los han llevado a "simplemente saber" lo que va a funcionar.

i-see-dead-pages

La verdad es que … la mayor√≠a de ellos est√°n llenos de eso.

Para probar esto, hace poco m√°s de un mes realic√© un peque√Īo experimento divertido mientras hablaba en Searchlove en Boston.

Esto es lo que sucedió:

El experimento del "sexto sentido"

Después de escuchar a tantos "expertos en conversión" hablar sobre su "sexto sentido" UX, ideé un experimento simple para ver qué tan bien los especialistas en marketing podían predecir el ganador de una prueba.

Recientemente, había realizado una prueba exitosa para un cliente que había aumentado la finalización de formularios en un 146,2%.

Sab√≠a qu√© versi√≥n de la p√°gina era la ganadora, pero decid√≠ preguntarle al p√ļblico qu√© variante elegir√≠an para ganar.

Le di al p√ļblico de Searchlove un enlace a una encuesta, que conten√≠a los siguientes dise√Īos de p√°gina: ¬°todo lo que ten√≠an que hacer era adivinar qu√© dise√Īo era el ganador!

Prueba de los expertos en pruebas | Publicidad disruptiva

Prueba lo suficientemente simple, ¬Ņverdad?

Aquí estaban los resultados:

  • Original: 0%
  • V1: 32%
  • V2: 42%
  • V3: 26%

Ahora, solo una de estas páginas mejoró realmente la finalización de formularios en un 146,2%, por lo que claramente el alardeado "sexto sentido" no era tan preciso.

Pero esa no es toda la historia.

Sin que mi audiencia lo supiera, les estaba haciendo una prueba A / B.

La mitad de las personas que hicieron clic en mi enlace fueron enviadas a una página variante, donde había cambiado un poco las imágenes.

En mi página de encuesta de variantes, cambié la página original del cliente con la tercera variante que creamos para ellos.

Entonces, en lugar de verse así:

Prueba de los expertos en pruebas | Publicidad disruptivaLa encuesta se veía así:

Prueba de los expertos en pruebas Parte 2 | Publicidad disruptiva

Así es como votaron las personas que terminaron en esta página:

  • "Controlar": 0%
  • V1: 14%
  • V2: 66%
  • V3 (control real): 20%

En ambos casos, V2 fue el ganador general (42% de los votos en el primer grupo, 66% de los votos en el segundo grupo).

Pero la cosa es que V2 no fue el mejor jugador …

¬ŅQue pas√≥?

Cuando observa esos resultados, puede que se sorprenda … o que simplemente se rompa de risa. S√© que lo hice.

Prueba de los resultados de los expertos en pruebas | Publicidad disruptiva

La pregunta es, ¬Ņpor qu√© la gente eligi√≥ lo que eligi√≥?

Percepción selectiva

Claramente, las personas estaban sesgadas en contra del control, porque el control no obtuvo un solo voto en ninguno de los grupos.

Al principio, eso me sorprendió, pero luego me di cuenta de que se trataba de un caso claro de percepción selectiva.

No le había dicho a mi audiencia que el control no podía ser el ganador, pero como yo era un especialista en pruebas, automáticamente asumieron que el ganador debe ser una de las variantes.

Despu√©s de todo, ¬Ņpor qu√© deber√≠a mostrar un estudio de caso en el que no mejor√© las cosas?

Es una suposición lógica, pero defectuosa.

Desafortunadamente, este tipo de percepci√≥n selectiva es un problema muy com√ļn entre los "expertos" en pruebas. Como humanos, asumimos que m√°s nuevo es mejor.

Por lo tanto, si un dise√Īo de p√°gina alternativo incorpora nuevas caracter√≠sticas (tomas de video hero, arte plano, dise√Īo minimalista, etc.), la mayor√≠a de los especialistas en marketing supondr√°n que funcionar√° mejor.

Del mismo modo, si un dise√Īo variante sigue las "mejores pr√°cticas" e incorpora nuevos elementos ("mejor" llamado a la acci√≥n, p√°gina m√°s corta, contenido m√°s atractivo, etc.), la mayor√≠a de los vendedores supondr√°n que su p√°gina obtendr√° m√°s conversiones.

Pero, ¬Ņest√°n esos supuestos fundamentados de hecho?

Claro, una página hermosa, moderna y digna de mejores prácticas puede ganarle un lugar en una hermosa publicación de blog de tipo páginas, pero no necesita su página para hacer felices a otros vendedores: su página debe hacer feliz a su mercado objetivo.

Pero, si le pregunta a un vendedor qué tipo de página funcionará mejor, él o ella probablemente elegirán la página más nueva y que cumpla con las mejores prácticas.

En otras palabras, la mayoría de las personas asume que las páginas que les gustan funcionarán mejor. Después de todo, si les gusta, ¡a todos les gustará!

Efecto de falso consenso

Lamentablemente, por más inteligentes y experimentados que podamos ser, todos somos víctimas de algo llamado efecto de falso consenso. Básicamente, creemos que otras personas perciben el mundo de la misma manera que nosotros.

Si te encanta hacer listas, asumes que todos estarían mejor con un buen sistema de listas. Si toma los problemas de frente, asume que otros serán sinceros con sus preocupaciones. Si encuentra que la conversación distrae, asume que el ruido debe disminuir la productividad de todos.

Si un enfoque espec√≠fico para el dise√Īo web le hace cosquillas … ¬°ese enfoque debe ser el mejor para todos!

Ahora, para ser justos, como adultos, sabemos que no todos comparten nuestra perspectiva, pero el efecto de falso consenso todavía contamina nuestro pensamiento.

Quiero decir, la gente no puede ser tan diferente, ¬Ņverdad?

Lamentablemente, las personas son muy diferentes, por lo que no puede usar sus propias opiniones y experiencias para predecir qué funcionará o no para su audiencia. La experiencia ayuda, pero incluso la experiencia está contaminada por su perspectiva individual.

Como resultado, la √ļnica forma confiable de saber a qu√© responde mejor su audiencia es a trav√©s de pruebas.

¬ŅEst√°s adivinando o probando?

Con todo esto en mente, abordemos un problema final con la toma de decisiones de marketing basadas en la intuición del "sexto sentido": la mayoría de los especialistas en marketing prueban sus conjeturas.

Debido a que la mayoría de los especialistas en marketing creen tan firmemente en sus instintos intestinales, incluso los especialistas en marketing que realizan pruebas de rutina a menudo basan sus pruebas en lo que el instinto les dice que desean sus clientes potenciales.

En otras palabras, no tienen una estrategia de prueba establecida, solo est√°n probando sus conjeturas.

¬ŅEs de extra√Īar, entonces, que solo 1 de cada 7 pruebas A / B sea un √©xito?

Curiosamente, una tasa de éxito de 1 en 7 significa que el 86% de las pruebas A / B no producen resultados significativos. En mi prueba, solo el 13% de los especialistas en marketing predijeron con éxito la página ganadora.

Entonces, si tuviera que elegir un n√ļmero, dir√≠a que la mayor√≠a de las personas que prueban A / B "sexto sentido" est√° mal el 86-87% de las veces.

Pero la cuestión es que su audiencia le dice lo que quiere con cada prueba: ¡simplemente no está escuchando!

Como resultado, deja a sus clientes objetivo pregunt√°ndose:

¬ŅC√≥mo puedes ayudarme si no me crees?

Por lo tanto, si realmente desea optimizar su sitio web, debe escuchar lo que le dicen sus datos, no su instinto.

En lugar de confiar en ese "sexto sentido" de prueba para determinar lo que va a probar, cree una estrategia de prueba. Decida de antemano qué quiere aprender con cada prueba y luego use lo que aprende con cada prueba para guiar la próxima prueba.

No hay nada sobrenatural en el marketing efectivo, solo es una buena ciencia antigua.

Conclusión

La mayoría de los especialistas en marketing, incluso los "expertos" de prueba, no pueden predecir exactamente qué cambios en su sitio mejorarán su tasa de conversión. Su "sexto sentido" simplemente no es tan bueno.

Dicho esto, sus instintos de marketing tienen su lugar: ¬°pueden ser una excelente manera de generar nuevas ideas de prueba! Sin embargo, si realmente desea obtener resultados de las pruebas de su sitio web, debe probar esas ideas con ciencia.

Por cierto, si desea hablar conmigo sobre sus ideas o enfoque de prueba, hágamelo saber aquí o en los comentarios. ¡Me encantaría ayudar!

Si ha leído todo este artículo, probablemente tenga curiosidad sobre qué variante produjo los mejores resultados. ¡Te diré qué, tuitea en @chrisdayley sobre este artículo y te lo diré!