Estamos de regreso con la segunda edición de nuestra serie de blogs VWO &39;Perspectivas CRO: Conversaciones con expertos de la industria&39;. A través de estas entrevistas, nuestro objetivo es mostrar diversas perspectivas, aprendizajes y experiencias de expertos en CRO, fomentando el crecimiento y el aprendizaje dentro de la comunidad CRO en su conjunto.
Líder: Haley carpintero
Role: Fundador en Chirpy
Ubicación: Austin, Texas, Estados Unidos
Habla sobre: Experimentación • Investigación de usuarios • Optimización de conversiones • Gestión de proyectos • Análisis de datos
¿Por qué deberías leer esta entrevista?
Haley Carpenter ha colaborado con organizaciones líderes en la industria, desarrollando su experiencia como estratega y consultora en CRO. Con una gran experiencia en diversos roles, fundó su agencia, Chirpy. Especializada en CRO, consultoría, ejecución y capacitación, Haley se enfoca en la investigación y pruebas de usuarios. Impulsada por resultados tangibles, opera con la máxima eficiencia y eficacia. Dice que su trabajo va más allá de la “Optimización de la tasa de conversión” o “CRO”; eleva estrategias de decisión empresarial completas, capacitando a los equipos para que se conviertan en tomadores de decisiones seguros.
Esta es una respuesta larga, pero prometo que saldrá bien. Hay algunos componentes críticos que han contribuido a mi forma de trabajar ahora:
1: aprendizaje y experiencia adecuados
Son fundamentales para el éxito. El conocimiento inadecuado es frecuentemente lo que conduce a malos resultados. Hay tanta desinformación en esta industria que es extremadamente importante elegir sabiamente a tus maestros y mentores. Dicho esto, he seleccionado mis experiencias profesionales para aprender de algunos de los mejores. Mis enfoques han sido influenciados por cada experiencia que he tenido a lo largo del camino.
2: tiempo
Siempre me molestaba tanto al principio de mi carrera cuando era una persona más joven que marcaba todas las casillas de lo que hacía una persona mayor pero no me ascendían más rápido (sin embargo, sí me ascendieron rápidamente en retrospectiva). Simplemente marcar casillas no es suficiente. Pasar de rango y esforzarme para tratar de ser el mejor ha sido el punto en el que me encuentro ahora.
3: Amplia exposición
He trabajado intencionalmente en dos agencias pequeñas y medianas y en una gran empresa SaaS (donde todavía operaba como agencia). Mantuve una amplia lista de clientes en cada función para asegurarme de tener continuamente una amplia exposición a todo tipo de industrias, personas, sitios web, etc. Nunca quise trabajar internamente, ya que eso normalmente te compromete con una sola empresa. En mi opinión, CRO es un nicho bastante específico. Nunca pensé que tuviera sentido hacer un nicho más como ser un especialista en eComm o SaaS, por ejemplo.
4: confianza
Todos los componentes anteriores han contribuido a mi confianza. Parece que la confianza en los negocios es la mitad de la batalla, especialmente cuando se trabaja con clientes. He trabajado duro para tener verdadera confianza en que puedo respaldar mi desempeño.
Ahora, basándose en toda esa configuración, mi enfoque ha pasado de simplemente aceptar y utilizar lo que me enseñaron a poder aprovechar eso, desarrollar mis propias opiniones y mejorarlo. CRO tiene muchas áreas grises y no existe un libro de reglas como en el ámbito legal, por ejemplo. Hay mucho más espacio para opiniones y perspectivas diferentes. Ahora he podido ver y comprender el espectro completo de todos los temas de CRO para poder tomar decisiones informadas y hacer recomendaciones a mis clientes con confianza.
Mi enfoque ha pasado de simplemente aceptar y utilizar lo que me enseñaron a poder aprovechar eso, desarrollar mis propias opiniones y mejorarlo.
Si alguien quiere una lista más táctica de algunos de mis aprendizajes importantes, aquí hay algunos:
- Realizar pruebas para determinar su significado total no es el único tipo de prueba (prueba de superioridad). Realice también pruebas únicamente para mitigar riesgos (pruebas de no inferioridad).
- Los clientes a menudo dicen que saben muchas cosas de CRO; tómenlo con cautela, sin importar su función.
- Apunte al impacto más que a aprender a ser precisos la mayor parte del tiempo. Con esto me refiero a inclinarme por probar múltiples cambios a la vez en una prueba en lugar de un cambio a la vez. En relación con esto, conseguir grandes levantamientos es más difícil y poco común de lo que mucha gente piensa.
- Establezca expectativas sobre todo con todos lo antes posible casi todo el tiempo.
- No tengas miedo de decir que no sabes algo.
- Los informes de prueba no deberían ser largos ni tardar horas en completarse. Más tiempo no equivale a mejor.
- No base el éxito de las pruebas en las acciones más cercanas a los cambios que está realizando (que probablemente sean métricas de vanidad). Ve por el dinero y no dejes que nadie te disuada de eso.
- Las proyecciones de retorno de la inversión anualizadas son una tontería. No deje que nadie le diga lo contrario y no se deje convencer de hacerlas de todos modos sólo porque un director ejecutivo se lo dijo.
- Todo el mundo es humano como tú, así que no dejes que los títulos de funciones y los logotipos de las empresas te asusten.
No base el éxito de las pruebas en las acciones más cercanas a los cambios que está realizando (que probablemente sean métricas de vanidad). Ve por el dinero y no dejes que nadie te disuada de eso.
¡Me encanta esto! De hecho, creé un recurso para esto ya que muchos equipos tienen dificultades con ello. Lo ofrecemos aquí para cualquiera que lea esto. El trabajo previo a la prueba es uno de los mayores desafíos y áreas de oportunidad para casi todos los clientes. Es una de las cosas que más me apasiona porque siempre marca una gran diferencia en los resultados.
En realidad, hay tres resultados principales de una prueba: ganar, perder y no ser concluyente. Algunos profesionales incluyen una opción “plana”; sin embargo, eso nunca está claramente definido y varía de persona a persona. Lo uso, y si lo hago, es una subetiqueta de las tres principales que mencioné primero.
Sin embargo, una prueba implica mucho más que solo esa capa. Esa capa (el resultado) debe ir acompañada de acción. Si no se hace nada con los resultados, ¿qué sentido tiene hacerlo? Por tanto, existen tres acciones principales que surgen de una prueba: implementar, iterar y abandonar. Creo que esto surgió de algún contenido de Microsoft hace unos años. Yo llamaría a esto una subcapa debajo de la capa de resultado.
Otro matiz: ¿fue una prueba de superioridad o de no inferioridad? Para mí, esta capa son en realidad las dos mencionadas anteriormente. En muchos casos, tiene sentido tener una jerarquía de capas de análisis y decisión como esta:
- Superioridad, no inferioridad (capa de decisión, prelanzamiento)
- Ganancia, pérdida, no concluyente (capa de análisis, post-lanzamiento)
- Implementar, iterar, abandonar (capa de decisión, post-lanzamiento)
Algunos equipos consideran los números 2 y 3 por separado para las pruebas de superioridad y las pruebas de no inferioridad, lo que puede afectar drásticamente los informes sobre el programa (por ejemplo, tasas de victorias, impacto promedio por éxito, etc.). Personalmente, prefiero este enfoque en el que cada categoría (superioridad y no inferioridad) es distinta.
En cuanto a cómo tomar una decisión, hay matices a considerar caso por caso. Este es un gran ejemplo de dónde es importante contar con un experto en CRO.
Ejecute múltiples iteraciones: esto aumentará enormemente la velocidad. Incluso si encuentra ganadores, a menudo tiene sentido repetir e intentar vencerlos.
Con respecto a la capa de análisis, debería ser más sencillo (más o menos). Por lo general, el objetivo es lograr una significancia del 90 % al 95 % con pruebas de superioridad y resultados direccionales (que no tienen que alcanzar una significación total) en las pruebas de no inferioridad. Algunas consideraciones importantes que los equipos pasan mucho por alto:
- ¿Está realizando pruebas de horizonte fijo o secuenciales?
- ¿Ha realizado recientemente un control de calidad de su plataforma de análisis?
- ¿Ha realizado un control de calidad de los datos de alguna integración recientemente?
- ¿Has comprobado si hay SRM?
- ¿Estás utilizando estadísticas bayesianas o frecuentistas?
- ¿Está ejecutando pruebas de una o dos colas?
No me malinterpretes, hay otros; sin embargo, esta es una lista inicial sólida que seguir. Las respuestas a estas preguntas ayudan a guiar las adaptaciones posteriores a la prueba y también antes de la prueba.
Es algo no negociable y algo que se debe hacer en los programas de prueba. La mayoría de las pruebas deben repetirse. ¿Razón principal? Hay &39;&39; formas de ejecutar la mayoría de las tácticas. Piénselo héroes, creatividad, viajes, formularios, mensajes, arquitectura de la información, etc. No hay una sola forma de diseñar un héroe. No existe una sola forma de ejecutar un formulario. Ejecute múltiples iteraciones y múltiples variaciones por prueba si tiene suficiente volumen de datos. Esto aumentará enormemente la velocidad. Incluso si encuentra ganadores, a menudo tiene sentido repetir e intentar vencerlos.
Por lo general, mi objetivo es definir el éxito mediante el uso de métricas más cercanas al dinero, como transacciones, ingresos durante una prueba, clientes potenciales, renovaciones, etc. Estas son siempre las que también pretendo priorizar. Los practicantes todavía no están de acuerdo entre ellos sobre este tema, lo cual me resulta alucinante. Algunos todavía eligen métricas de vanidad y eligen “la acción más cercana al cambio”. Estoy completamente en desacuerdo con eso la mayor parte del tiempo porque creo que la elección correcta es clara. Hay un montón de excusas sobre por qué la gente no está de acuerdo, y siempre estoy feliz de charlar y abordar en cualquier momento. Me apasiona mucho el tema de elegir métricas primarias versus métricas secundarias. Mira mi video sobre este tema aquí.
Estos son algunos de los mejores desde mi perspectiva:
- No se deje convencer por el uso de métricas vanidosas, también conocidas como métricas de alto embudo, como sus principales métricas de éxito, para pruebas individuales o programas completos.
- Usted conoce la diferencia entre las pruebas de horizonte fijo y las pruebas secuenciales, y necesita saber lo suficiente sobre cada una para asegurarse de que está abordando y analizando las pruebas correctamente. También es importante porque si no los conoce, significa que tampoco conoce su herramienta de prueba. Esta no es un área temática opcional.
- No te asustes por si estás 100% del lado de los partidarios bayesianos o frecuentistas. Sepa que está bien si vive en algunas zonas grises. Sin embargo, sólo asegúrese de tener el conocimiento adecuado para tomar decisiones informadas. Y nuevamente, conozca esto en relación con su herramienta de prueba.
- Mucha gente intenta demostrar su experiencia intentando parecer técnico y complicado. Esto es un gran error. En mi opinión, la experiencia se demuestra a través de la capacidad de simplificar conceptos y acercar a las personas de una manera fácil y atractiva.
- No asuma que la gente sabe acerca de las cosas de CRO incluso si dicen que sí. , no compliques demasiado las cosas. Recuerde, la mayoría de las personas no son nerds de CRO en el fondo y no lo han estudiado al nivel de alguien que se especializa en ello día a día.
- Si desempeña una función consultiva o de PYME, en realidad debe ser consultivo y tener autoridad. Demasiadas personas son demasiado tímidas y sumisas por miedo. Yo diría que esa es al menos una de las razones más comunes.
En mi opinión, la experiencia se demuestra a través de la capacidad de simplificar conceptos y acercar a las personas de una manera fácil y atractiva.
He tenido excelentes experiencias usando VWO. El editor visual es fácil de usar y el equipo de soporte de VWO siempre es fantástico.
Esto necesita un plan a corto, mediano y largo plazo. Suele ser una jugada larga que tarda un poco en afianzarse por completo.
Aquí hay una lista táctica rápida con algunas ideas:
Boletines:
Los boletines informativos de CRO semanales, mensuales o trimestrales (o alguna combinación de ellos) con pruebas pertinentes y actualizaciones de investigaciones hacen circular la información de forma rápida, sencilla y frecuente (si los publica semanalmente). Agregue el formulario de envío de su idea de prueba cada vez para que también sea una prioridad.
Cadencias de reuniones estructuradas:
Las sincronizaciones semanales, las revisiones de fin de mes y las revisiones comerciales trimestrales son importantes y tienen diferentes propósitos. Anótelos en el calendario con los miembros apropiados del equipo. Las reuniones semanales son tácticas, mientras que las reuniones mensuales y trimestrales son más estratégicas y de alto nivel.
Libros de jugadas:
Cada programa debe tener un documento vivo que describa todo lo relacionado con el programa CRO de principio a fin.
Documentación e informes consistentes:
Tener paneles de informes y plantillas de documentación para pruebas e investigaciones. Esto es muy fácil de hacer, pero a menudo se omite.
Cuadros de mando de las pruebas:
Esto está relacionado con la documentación y es algo que he escuchado usar a varios profesionales ahora. Cree un TLDR de una sola diapositiva para cada prueba que se pueda compartir fácilmente con la alta dirección (o cualquier persona de una empresa) en una diapositiva o captura de pantalla.
Canales de chat:
Esta puede ser una forma divertida de conseguir una mayor aceptación. Tenga un canal CRO Slack, por ejemplo, donde haga anuncios de pruebas, comparta aprendizajes de investigaciones recientes, etc.
Formularios de envío de ideas de prueba: esto permite que todos participen en CRO de una manera realmente fácil y ayuda a cambiar los hábitos de las personas hacia la toma de decisiones basada en datos.
Tener paneles de informes y plantillas de documentación para pruebas e investigaciones. Esto es muy fácil de hacer, pero a menudo se omite.
Dos grandes temas de conversación en mis círculos recientemente en relación con esto: la IA y la extinción de las cookies de terceros.
En cuanto al tema de la IA, no soy alguien que piense que la mayor parte de nuestro trabajo como practicante de CRO lo asumirá la tecnología. Creo que probablemente aparecerán nuevas herramientas que podremos utilizar para complementar nuestro trabajo de maneras diferentes a las que hemos tenido en el pasado. Creo que muchas cosas se sobrevaloran. Incluso si la IA pudiera asumir por completo las funciones de CRO, creo que los humanos siempre preferirán trabajar con humanos más de lo que piensan esas cosas sobrevaloradas.
Sobre el tema de las cookies, la mayoría de las personas con las que he hablado hasta ahora parecen estar en una posición similar en relación con su comprensión de la situación y lo que van a hacer al respecto, que es (a) no entendemos bien y (b) no estamos 100% seguros de qué vamos a hacer al respecto. Ha habido una o dos anomalías en esto, pero incluso entonces, esas empresas todavía están resolviendo algunas cosas. Esto parece ser algo que nos ayudaremos mutuamente a descubrir y comprender juntos a medida que la situación evolucione en 2024 y más allá.
En relación con otros temas evolutivos y mis predicciones, solo diré que, en mi opinión, la industria se mueve mucho más lento de lo que la mayoría dice o piensa. Siempre hay toneladas de proyecciones elevadas en las respuestas de las personas a este tipo de preguntas cada año, pero la realidad es que las cosas casi siempre se mueven mucho más lentamente y cambian mucho menos año tras año de lo previsto.
