.
Ejecutar programas de experimentación es un arte y una ciencia. Lo digo todo el tiempo. Los programas deben tener cierto nivel de rigor, es decir, sistemas, procesos y procedimientos. No es algo que deba tomarse a la ligera. Creer que cualquiera puede empezar un programa mañana con una mínima preparación y planificación es un error. Desafortunadamente, eso sucede todo el tiempo. Como era de esperar, se desperdicia mucho dinero, tiempo y esfuerzo. Esto me lleva al tema de
Si quiere tomarse en serio la experimentación y mejorar su nivel de competitividad en el mercado, será mejor que lo haga bien. Debes asumir que tus competidores lo están haciendo bien. Entonces, si esto te resuena, continúa leyendo y te garantizo que recogerás una o dos pepitas de oro para usar de inmediato.
El precursor inevitable para crear un programa de experimentación que le hará triunfar o deshacerle: cálculos previos a la prueba
Cálculos previos a la prueba. ¿Alguna vez has oído hablar de ellos? ¿Los has hecho? ¿Le suena familiar MDE o efecto mínimo detectable? ¿Qué tal las estimaciones de duración o los tamaños de muestra? Espero que sepan de lo que estoy hablando, aunque apuesto dinero a que la gran mayoría de ustedes no lo saben, simplemente por mi propia experiencia personal con clientes.
Antes de hacer cualquier cosa relacionada con la experimentación, compruebe si tiene suficiente volumen de datos para hacerlo. Vea si puede realizar alguna prueba mediante cálculos previos a la prueba. Por volumen de datos, me refiero a visitantes y conversiones. Los visitantes pueden ser cualquier cosa que utilice habitualmente (por ejemplo, sesiones, usuarios, MAU, etc.). Las conversiones provienen de la métrica principal que utilizará en sus pruebas. Sepa esto:
- No todas las empresas tienen suficiente volumen de datos para realizar experimentaciones en cualquier capacidad.
- Si puedes hacerlo, debes saber que no eliges la velocidad deseada de la nada. Se basa en cálculos.
El culpable número uno de ignorar uno o ambos puntos: el personal de ventas. Si está pensando en comprar algún tipo de herramienta, asegúrese de que sea parte de la conversación. La barrera de entrada mínima para tener un programa de experimentación: suficiente volumen de datos para ejecutar una prueba en ocho semanas o menos en un carril.
Cubrí este tema en detalle hace unos meses para Experiment Nation. Sepa que si no comprende este tema y lo hace desde el primer día, lo perseguirá y definitivamente causará resultados no deseados de algún tipo eventualmente. Otra nota muy importante: sepa si su herramienta de prueba (o la que planea usar) está construida en base a pruebas de horizonte fijo o pruebas secuenciales. Esto afecta los cálculos y la forma en que ejecuta su programa.
Paso 1 (Post-precursor): Medición y calidad de los datos
Si superó el obstáculo de los cálculos previos a la prueba y confirmó que tiene suficiente volumen de datos para realizar la prueba, el siguiente obstáculo para avanzar es la medición y la calidad de los datos. Sabes a qué te diriges en este trabajo; de lo contrario, te tambalearás como un pez en la orilla de un río. Muchos equipos no saben para qué están trabajando, como envíos de formularios, transacciones, ingresos, LTV, etc.
Comprenda cuáles son sus métricas primarias, secundarias y terciarias para la experimentación y el negocio en su conjunto. Entiéndelo con total claridad. No permita que persista la confusión o la incertidumbre. Asegúrate de que esté en la misma página.
Luego, una vez que tenga esa cantidad, asegúrese de recopilar esos datos en los lugares correctos en los que pueda confiar.
Si las mediciones y/o la calidad de los datos son un desastre, simplemente deténgase. Detén todo y dedica todos tus esfuerzos a hacerlo bien. Piense en la experimentación como una pirámide. Estas dos cosas son las capas fundamentales de la pirámide. Si se agrieta en algún momento, todo lo demás se desmoronará encima. Prometo.
Diré que sé que esto puede ser difícil. Hacerlos bien puede llevar más tiempo. Quizás incluso más de uno o dos meses. Sin embargo, vale la pena hacerlo bien. He visto problemas que surgen seis meses o más después del lanzamiento de un programa, solo para que finalmente todo se detenga bruscamente. Nadie está contento en ese momento.
Una nota sobre lo que debería ser una métrica principal
Este es a veces un tema divisivo entre los profesionales. Tengo una postura muy firme al respecto, específicamente cuando se trata de equipos de marketing y sitios web (no necesariamente equipos de producto y productos).
Las métricas primarias siempre deben ser métricas del embudo descendente. Pedidos. Envíos de formularios. MQL. Ganancia. LTV. SQL. Entiendes la idea. Algunas personas dicen que siempre deberían ser la acción más cercana al cambio que estás realizando o a las métricas de participación. Equivocado. No, no. Incorrecto. BS. Quien te diga esto debería ser el que tenga que justificar el programa en seis meses o un año ante el CMO o CEO de la empresa. Estarán en el banquillo. NO tenga un programa lleno de pruebas centradas en clics en botones, clics, páginas vistas, promedio. duración de la sesión, tasa de salida, tasa de rebote, vistas de video, etc., etc. Eso no justificará los miles o cientos de miles de dólares gastados para realizar este trabajo. Todo el mundo quiere saber su retorno de la inversión (ROI) y cómo el trabajo afectó al resultado final. Los clics en los botones no harán eso.
No estoy diciendo que no midas métricas de participación o métricas de embudo superior, pero deberían ser métricas secundarias o terciarias. No los primarios. Añaden contexto a la historia de una prueba. No son de ellos de lo que dependen las pruebas cuando llega el momento de tomar una decisión. Tenga en cuenta que tampoco estoy diciendo que nunca haya excepciones. Todavía evalúe las pruebas caso por caso.
Un consejo: a quienes debaten este tema entre ustedes, siempre les digo a los equipos que discutan las opciones y decidan por sí mismos. Sólo asegúrese de llegar a una conclusión colectiva de que todos cumplen y siguen adelante.
Paso 2: investigación e ideación de usuarios
En este punto, debe (1) saber que tiene suficiente volumen de datos para realizar pruebas y (2) saber qué está midiendo y que está recopilando datos adecuados en los que puede confiar. ¿Qué es lo siguiente? Se está pensando qué probar. ¿Cuáles son tus ideas de prueba? ¿Cómo vas a generarlos?
¿Adivina qué hacen la mayoría de los equipos? Se basan en corazonadas y en muchos “pensamos”, “sentimos” y “creemos”. Eso es demasiado subjetivo y es una forma terrible de ejecutar un programa. Ese enfoque no está respaldado por datos en absoluto. Es lo que los profesionales llaman “prueba de espagueti”, es decir, arrojar cosas a la pared con la esperanza de que se peguen. Las conversaciones basadas en datos no implican mucho de ese tipo de lenguaje, y los datos que se necesitan provienen de la investigación de los usuarios. Todo el tiempo me preguntan qué significa investigación.
Bueno, existen varias metodologías que recopilan datos que incluyen, entre otras, análisis, sondeos, encuestas, pruebas de usuarios, pruebas de mensajes, mapas de calor, grabaciones de sesiones, clasificación de tarjetas, pruebas de árboles, mapeo del recorrido del cliente, personas y muchas más. También hay varias herramientas que nos ayudarán a completar cada uno de estos. Siempre digo comenzar con uno o dos y avanzar hacia otros a partir de ahí. Sin duda, eso es mejor que nada. Técnicamente, ya no cuento los análisis porque todas las empresas tienen datos analíticos en estos días. Si no tienes eso, probablemente tengas cosas más importantes que hacer. Sin embargo, si lo tienes, esfuérzate por conseguir uno o dos más (y no digas oh, entonces estamos bien).
Existe una metodología llamada evaluación heurística. Es entonces cuando alguien evalúa visualmente una experiencia y desarrolla conocimientos basados en su experiencia y conocimientos. Hay un momento y un lugar para ello, pero la mayor parte del tiempo no está respaldado por “datos concretos”. Es bastante subjetivo y será diferente hasta cierto punto dependiendo de quién lo complete. Sepa que su programa no debería basarse en este tipo de conocimientos.
No voy a cubrir cómo realizar una investigación con gran detalle aquí, pero puede consultar uno de mis seminarios web de VWO aquí donde hablo más sobre el modelo ResearchXL de CXL.
Paso 3: Priorización
Una vez que tenga una lista de ideas para pruebas, no podrá realizarlas todas a la vez. Necesita una forma estratégica y lógica de crear un plan de acción. Aquí es donde entran en juego los marcos de priorización. Existen muchos. Me gusta uno en particular: el marco PXL de CXL. Otros comunes incluyen PIE, ICE o PILL. El PXL es el más objetivo en mi opinión. Es personalizable y más robusto (en el buen sentido).
Otros modelos están bien y son mejores que nada. Si tienes algo y te funciona, genial. ¡Solo ten uno y asegúrate de que todos lo estén usando! Le evita tener que lidiar con un caos adicional.
Paso 4: Hoja de ruta
Las hojas de ruta le muestran visualmente lo que se está ejecutando en un momento dado. Combine su priorización y cálculos previos a la prueba y auge. Tienes una hoja de ruta. Estos se realizan mejor en diagramas de Gantt. Agregue todos sus carriles y pruebas con duraciones estimadas, dispositivos y otros metadatos útiles. Evitará superposiciones no deseadas y efectos de interacción no deseados. Ayuda a todos a planificar de forma mucho más eficaz y eficiente. Esto te salvará de más caos.
Ejemplo de diagrama de Gantt que se puede utilizar para crear una hoja de ruta claraPaso 5 y más: seguir como siempre
Ahora que todo lo que hemos cubierto ha quedado claro, todo sigue como de costumbre. Tienes una prueba a mano que vas a realizar. Lo envía a través del flujo de trabajo habitual del experimento: maqueta > diseño > desarrollo > control de calidad > lanzamiento > monitorear > concluir > analizar > compartir y archivar > repetir.
Además de las pruebas individuales, hay otros temas a considerar en relación con un “programa” completo. Estos incluyen la gestión y la gobernanza del programa. Así es como pienso en ellos de una manera muy resumida
Gestión del programa: ¿Cómo va a organizar y realizar un seguimiento de todo este trabajo? Descubra qué herramientas utilizará para las tareas, la gestión de datos y la comunicación. (Recibí ese desglose de Ben Labay, director ejecutivo de Speero).
Gobernanza: ¿Qué funciones y responsabilidades tiene cada uno? Una forma útil de determinar esto es (1) elegir un modelo de gobernanza y (2) completar un gráfico RASCI alineado con el modelo de gobernanza. Modelos de gobernanza comunes para investigar y considerar: individual, centralizado, descentralizado, centro de excelencia, consejo de pruebas e híbridos.
Si no logras concretar ambos con todo lo demás, será un caos adicional y tendrás que pagar por ello en cada paso del camino. Clava esto. Lleva más tiempo, pero vale la pena. Si te abres camino a través de las cosas por un tiempo, las consecuencias eventualmente te alcanzarán. Prometo. (Aparentemente, he hecho bastantes promesas aquí).
Conclusión
Deberías sentirte un poco (o mucho) más seguro de lo que puedes hacer para comenzar a experimentar o de lo que puedes hacer para subir de nivel el programa que ya se está ejecutando. No sientas que es demasiado difícil o demasiado fácil. Suele estar en algún punto intermedio. Mi mayor recomendación aplicable a todo lo que he mencionado: tener un mariscal de campo. Tenga a alguien que dirija todo este trabajo. No tiene por qué ser su función de tiempo completo, pero alguien debería ser el responsable. Generalmente es cuando he visto el mayor éxito.
Para concluir, espero que tenga un programa de experimentación lleno de rigor, resultados y un poco de diversión. Al final del día, es un trabajo divertido y emocionante que puede marcar una gran diferencia para una empresa.
Si desea saber más sobre cómo la experimentación impulsa la innovación y el crecimiento y vale la pena, mire mi último seminario web con VWO.
