“The first principle is that you must not fool yourself, and you are the easiest person to fool”
Richard P. Feynman – Nober Prize Physicist
En un artículo anterior describí lo que suelen ser las 4 características más riesgosas en cualquier idea que tengamos de producto digital (o para agregar una nueva funcionalidad a un producto existente).
También describí técnicas para validar esas ideas y sus riesgos en 1 día (que podés explorar en esta guía gratuita sobre innovación rápida).
El problema, es que esas técnicas experimentales dan resultados que luego deben ser interpretados… y cómo somos seres humanos, tenemos una tendencia natural a enamorarnos de las soluciones que planteamos, lo cuál nos lleva fácilmente a buscar cómo los resultados de nuestro experimento nos pueden dar la razón en lugar de verdaderamente obtener aprendizaje que nos ayude a tomar mejores decisiones.
Pongámoslo con un ejemplo
Si hablamos de validar demanda para una nueva idea (es decir, ver que hay suficiente gente que vaya a quererla para que valga la pena construirla), cómo dije anteriormente podríamos buscar hacer una landing page que muestre nuestra propuesta de valor y un botón para registrarse. Eso sería suficiente para que podamos medir un “CTR” (click through rate), es decir, cuántos de los interesados que lleve a la página realmente hicieron una acción que demuestre su interés y por ende la potencial demanda del producto.
Ahora bien, supongamos que corremos el experimento, tenemos 1.000 usuarios que visitan la página y obtenemos 50 registros. ¿Es mucho? ¿o es poco? ¿cómo debemos interpretar este resultado?
Miren este ejemplo de CTRs por industria:
Evitar el HIPPO
Cuando entramos en este “mundo de la opinología”, caemos en “justificar lo que queremos hacer con los datos que tenemos”, y se va a volver una situación dificil: el equipo va a empezar a discutir sin sentido si el resultado es bueno o es malo, si deberían avanzar o no con la solución y hasta los motivos de por qué la solución funcionó o no. Esto básicamente es lo que busca evitar la validación con experimentos: dejar que el feedback de los clientes nos indique si es algo que vale la pena perseguir.
En caso que haya un Stakeholder importante puede ser peor, caeremos en la aplicación de la decisión HIPPO (Highest paid person’s opinion – la opinión del que tiene el mayor salario en la compañía).
Entonces, ¿cómo evitamos entrar en este juego de opiniones?
La hipótesis falsificable
La forma de evitar discusiones es poder comparar el resultado del experimento contra un parámetro establecido antes de ejecutar el experimento, un criterio de aceptación de la prueba que me permita sacar un aprendizaje “válido” sobre el cuál tomar una decisión.
Es lo que en el método científico se conocen cómo hipótesis falsificables: una afirmación que puedo probar si es falsa mediante la ejecución de un experimento.
Por ejemplo, supongamos que el riesgo que estamos tratando de afrontar es sobre la usabilidad de un nuevo formulario de registro para nuestro servicio, y:
- Estamos introduciendo un flujo de 3 pasos para obtener mejor tasa de registros (este es un caso típico en empresas que tienen un formulario de registro largo de un paso que tiene altas tasas de rebote).
- Podríamos plantear como hipótesis entonces “4 de cada 5 usuarios lograrán completar el registro con el flujo de 3 pasos”.
Algunas notas antes de continuar: la hipótesis no necesariamente tiene que ser esta, podría ser por ejemplo “tiempo para completar la tarea”. Depende del objetivo que tenga y el resultado que esté buscando alcanzar con mi cambio. Y en caso de que sean tests de demanda por ejemplo, pondremos valores esperados de CTR (por ejemplo “el 20% de los usuarios que vean la página con la oferta, registrarán su correo para recibir novedades”).
- Luego de ejecutar la tarea, ya no quedarán dudas: si 4 o 5 usuarios completaron exitosamente, damos el experimento por exitoso, pero si son 3 o menos, no nos daremos por satisfechos.
En definitiva: eliminamos el factor opinión del resultado del experimento.
Cómo establecer el valor de la hipótesis
Aún falta una pieza, ¿quién y cómo determina el valor de la hipótesis?
Ya voy escuchando la queja que recibo habitualmente: “¿cómo voy a saber que número establecer? ¿no es el objetivo de Discovery aprender eso?”.
El objetivo de tener una hipótesis es forzarnos a algunas cosas:
- El ya mencionado “No dejar a opinología el resultado”
- Establecer la métrica que vamos a medir y asegurarnos de tener el tracking adecuado. Di ejemplos muy obvios, pero por ejemplo cuando estamos midiendo comportamiento de usuarios en productos complejos, puede no ser tan fácil establecer este criterio.
- Forzarnos a pensar formas de refinar el experimento si el resultado no es concluyente
- Entender que esperamos de esta idea y cómo se alinea con los objetivos que perseguimos
Pero fuera de las ganas de establecerlo, ¿cómo lo hacemos? ¿cómo elegimos ese “4 de usuarios” o “20% de CTR”? ¿no corremos el riesgo de entrar en opinología?
Volviendo a las exigencias del método científico, los físicos, químicos, etc van a buscar que sus hipótesis sean lo más cercana al resultado real posible. Para nosotros esto significaría volver a caer en técnicas de estimación que mencioné en el pasado, que requieren hacer aún más supuestos, que llevarían tiempo y que crearían resultados en apariencia creíbles pero que luego en general no se condicen con la realidad.
Por suerte a nosotros no nos corre el rigor de la ciencia, y podemos conformarnos con hacer estimaciones más gruesas.
¿Cómo establecer un valor entonces?
Mi recomendación es que usen:
“el menor valor de la métrica que desde el punto de vista de negocio haga que tenga sentido para avanzar con la propuesta.”
¿Qué significa esto? Volviendo al ejemplo de flujo de registro, si el flujo actual hace que 3 de cada 5 usuarios se registre, entonces 4 de cada 5 es un número que propone un 20% de mejora en la tasa de registro y hace que tenga sentido hacer el esfuerzo.
En el ejemplo de medir demanda de un producto nuevo, supongamos que el precio que el cliente pagará por el producto es $10, y traer “visitantes” a través de Google Ads usuarios a la landing cuesta $1, eso significaría que una tasa de 10% de conversión “pagaría” los gastos de marketing.
Ahora supongamos que queremos sin variar el precio que el Customer Aquisition Cost (CAC – Costo de adquisición por usuario) sea 50% del valor del producto -porque algo de plata queremos ganar :D-. Entonces, necesitaríamos por ejemplo que la tasa de conversión sea 20%, para que gastemos sólo $5 en Google Ads y logremos $10 de una venta cada 5 usuarios.
Cómo pueden ver aún en estos estos ejemplos simples requerimos ver un poco más de datos, con lo cuál el trabajo de establecer la hipótesis en escenarios complejos va a requerir de análisis y entender bien los objetivos que están persiguiendo. Pero le va a dar mucho más sentido al experimento y a la interpretación del resultado que hagan.
¿Por qué el menor valor que haga que el negocio tenga sentido?
Imaginemos el caso contrario, nos ponemos en el ejemplo del experimento de demanda con CTR un objetivo del 40% (4 de cada 10 visitantes de la página se suscriben).
Pero luego ejecutamos el experimento y el resultado es 30%.
Si fuéramos rigurosos con el experimento, lo daríamos por “no aceptado” y deberíamos evaluar cambios para volver a intentarlo. Y sin embargo, esta versión con 30% de conversión es muy viable y muy buena para el negocio. Si por algún motivo creemos que debemos refinarla porque puede ser mayor, optimizaciones serán bienvenidas a lo largo del proceso. Pero descartar el nuevo producto que sería conveniente para la compañía no tiene sentido (y seguramente si presentan estos resultados a un stakeholder les diga que avancen igual).
Por eso lo más lógico suele ser poner el valor más bajo que haga un “negocio rentable”, porque un resultado por encima de ese valor nos va a hacer avanzar con la propuesta por más que después querramos refinarla en el camino.
2 Notas adicionales:
- No siempre es tan literalmente “económico” el sentido. Puede ser algo que por ejemplo, aumente la satisfacción, en cuyo caso deberán determinar “cuán valioso” es aumentar ese KPI para establecer el criterio del experimento.
- “Negocio rentable” no implica “que pague el costo de desarrollarlo” – cómo decía antes, si quiero por ejemplo un CAC del 50%, ese deberá ser mi mínimo para la hipótesis. Es decir, depende de los objetivos del negocio.
Sacando conclusiones de los experimentos
Más allá de la importancia de la hipótesis, nunca tenemos que olvidar que el objetivo de esta metodología y de estos experimentos es aprender lo más rápido y barato posible. Y que ese aprendizaje sea “accionable”.
Entonces, las 3 decisiones que podemos tomar en base a los resultados de los experimentos, serán:
- Avanzar -> cuando hemos ejecutado el experimento, obtuvimos el resultado esperado, y no quedan más hipótesis “riesgosas” es momento de graduar nuestra idea, pasarla a la fase de construcción (dónde haremos la versión mínima para llevar al mercado y seguir iterando pero en mayor escala)
- Descartar -> Confirmamos mediante experimento que alguno de los riegos que tenía nuestra idea es real (no tiene demanda, o no tiene valor para el cliente, o no es usable o construible).
- Refinar -> si bien alguna de las hipótesis no se confirmó, el aprendizaje obtenido indica que la idea es buena y aún no encontramos la solución correcta, o no estamos totalmente seguros si es valorable. Debería surgir una nueva pregunta a resolver. Refinar es volver al backlog de ideas para hacer una prueba distinta que nos de nuevo aprendizaje.
Cerrando el ciclo
Ya expresamos el ciclo del método científico.
Pero siguiendo con nuestras pequeñas variantes, vamos a basarnos en uno muy parecido a cómo lo propuso Eric Rise en el libro Lean Startup. Básicamente los pasos son generar las ideas, construir MVP test o prueba de validación, y obtener datos “duros” de clientes reales para validar nuestras ideas (y tomar una decisión: pasarlas a la fase de construcción, descartarlas o seguirlas probando)
Este gráfico les resultará familiar:
Pero siempre es importante que en la fase de aprendizaje y toma de decisiones tengamos cierta rigurosidad, estableciendo de antemano las hipótesis de los experimentos.
Me encantaría que dejen en los comentarios sus opiniones al respecto, si están implementando o no estas metodologías y los desafíos que están encontrando para hacerlo.