Priorización efectiva del backlog con experimentación rápida

Este es un post en 3 partes 7 técnicas de priorización para productos digitales, pero la publicación quedó algo rara :). En esta entrada están las partes 1 (Introducción) y final (Cómo priorizar con Product Discovery y experimentos rápidos), pero el detalle de las técnicas sigue en la parte 2. El motivo es que considero la parte final es tan valiosa que no podía dejar de incluirla hoy.

¿Qué tan relevante es la priorización para la construcción de productos?

Uno de los principales desafíos cuando estamos desarrollando productos es como priorizar el backlog o roadmap de funcionalidades que queremos hacer. Es la pregunta que más frecuentemente recibo, el tema sobre el que más posts hay (de hecho escribí el año pasado otro post de este tema), y uno de las tareas que podría decir que más veces cambié la forma de realizar a lo largo de mi carrera.

Si no tenés tiempo ahora descargá el PDF con el resumen de las 7 técnicas de priorizaciónpara leer más tarde

Cómo Product Manager, si bien no me contrataron para priorizar sino para alcanzar resultados de negocio, la principal tarea que debo realizar para lograr ese objetivo es determinar correctamente lo que tiene que hacer el equipo a continuación, es decir, la tarea más importante que tenemos que iniciar cuando terminemos la actual. De hecho en un análisis de Alpha UX, el 86% de los Product Managers encuestados indicó como una de las áreas clave de responsabilidad la priorización y decidir que va en los productos y en qué tiempos.

Prácticamente cualquier priorización tiene en cuenta 2 aspectos de la funcionalidad o idea que quiero priorizar: el costo (cuánto esfuerzo o dinero me va a costar desarrollarlo) y el valor de negocio (cuantificar de alguna forma que voy a lograr una vez que esté construido).

Si bien ambos aspectos son extremadamente complejos, en este post me voy a focalizar en el segundo: entender qué valor va a aportar aquello que estoy considerando hacer.

El trabajo previo

Priorizar sin tener clara una estrategia de producto es cómo hacer trazar una ruta sin tener claro a dónde querés ir. Sin tener objetivos y estrategia de productos claros, priorizar no sólo va a ser más difícil, sino que además va a ser completamente ineficiente.

Ergo, lo primero que hay que hacer para priorizar correctamente es el trabajo previo de tener claros los objetivos de la compañía para luego establecer con los principales stakeholders los objetivos que va a seguir el producto alineados a esas metas generales.

Finalmente debemos traducir esos objetivos a indicadores de performance (conocidos cómo KPIs) que tendrán un valor concreto a alcanzar en un período de tiempo. Es importante tener en cuenta que un mismo “objetivo compañía” se puede atacar con muchos KPIs de producto, así que en general lo mejor es elegir trimestralmente aquellos que nos vamos a focalizar en ese período.

A modo de ejemplo (muy simplificado), suponiendo un producto de suscripción como Spotify o Netflix:

  • La compañía quiere aumentar sus ventas
  • El objetivo del producto será hacerlo aumentando la cantidad de compradores
    • Un KPI será incrementar cantidad de usuarios en 1000 en 3 meses
    • Otro KPI será aumentar la conversión a usuarios pagos en 2% en 3 meses

Un ejemplo de priorización sin objetivos

HeadYa conté historias de mis primeros pasos dentro de producto, con un juego de Poker para redes sociales. En ese entonces la compañía tenía como regla general 3 objetivos macro: nuevos usuarios, engagement (que los usuarios vuelvan) y monetización (que los usuarios compren bienes virtuales).

Siguiendo ese concepto, puse en mi roadmap sistemáticamente historias que vayan cubriendo estas 3 áreas. La primer funcionalidad de monetización que hicimos fue un éxito en comparación a otros productos: logramos que un 2% de usuarios pasen a pagar (lo cual en esta industria es un valor bastante bueno). ¿El problema? Teníamos unos 10.000 usuarios, estos pagos eran denominados “microtransacciones” de un valor promedio de unos U$2 a U$5, y para una compañía que estaba facturando en las 7 cifras esto era verdaderamente insignificante.

Siempre que mostraba estos valores de monetización, la pregunta natural de los stakeholders era la misma: “Buenísimo, ¿cómo hacemos para que tengamos esa monetización con 1 millón de usuarios?”.

En las fases tempranas del producto era mucho más importante lograr nuevos usuarios y engagement, con lo cuál yo debería haber focalizado los objetivos y KPIs del producto en esos 2.

Las opciones para priorizar

Ahora que ya terminamos el trabajo previo y sabemos que objetivos perseguimos, vamos a ver herramientas que te ayuden a determinar cuál de tus ideas atacar primero.

Te voy a presentar las opciones que considero más relevantes (no por que me gusten todas estas -ya te voy a contar mi preferencia-, sino porque son las más usadas), en una pequeña matriz:

Matriz

En general los métodos tienen 2 características: varían su complejidad (cuán difícil es llegar a un resultado) y su exactitud (o dicho de otro modo, cuan cuantificable es su resultado).

En la parte 2 de este artículo describiré cada método en detalle, pero ahora quiero tratar de saltar toda explicación y recomendarte ya mismo lo mejor.

La verdad incómoda de la evaluación financiera

A medida que las organizaciones y sus productos evolucionan, la mayoría tiende a buscar hacer cada vez más precisa su estimación de valor, ya que tiene muchos proyectos y quiere priorizarlos adecuadamente. La forma más tradicionalmente enseñada en las escuelas de negocio para hacer eso es una evaluación financiera de proyectos.

No pueden ver mi cara roja de vergüenza mientras escribo esto, pero hasta hace no mucho era un fuerte creyente en este método. Tanto los productos en que trabajaba como la compañía en si, tenían (o yo creía que tenían) suficiente historia y “proyectos similares” realizados cómo para utilizar esa información y hacer una proyección de las nuevas ideas que queríamos implementar.

¿Por que me averguenzo?

Por que estas proyecciones no tienen en cuenta dos incómodas realidades de la construcción de productos y la innovación:

  • Más del 50% de las ideas no va a tener ningún impacto de negocio: por más lindo que se vea tu plan, estos son los resultados que reportan las mejores compañías del mundo, cómo por ejemplo Booking.com que mencioná que el 70% de sus nuevos desarrollos no termina viendo la luz (y si vamos al mundo Startups, 9 de cada 10 no prospera).
  • Por más que hayas tenido una de las ideas que esté dentro del 50% de valiosas, el resultado es muy dependiente de aspectos de la ejecución: cuán bien lo comuniquemos, cuán usable lo hagamos para el usuario, y cuánto valor realmente el usuario perciba. Tratar de proyectar el valor del pasado es un ejercicio sin buenos fundamentos.

En definitiva, este método es grandioso para productos industriales o construcción de puentes, y cualquier otra disciplina que tenga un resultado predecible en base al comportamiento visto anteriormente. Pero en general no sirve para productos de software innovadores.

NOTA 1: las startups no se salvan de este pecado. Por ejemplo, cuando se hace un plan financiero para obtener inversiones, estamos haciendo este mismo ejercicio.
NOTA 2: hay proyectos de software donde hay menos innovación y este método puede funcionar, por ejemplo, los que son de uso interno y el usuario no tiene elección sobre si usar el producto o no 🙂

Usando Product Discovery para priorizar

En la matriz de opciones, destaqué la evaluación financiera cómo uno de los métodos de alta exactitud, y luego en la sección anterior lo tire abajo completamente. El problema era que a falta de una alternativa mejor, realmente era el método más preciso. La estimación podía ser órdenes de magnitud diferente al resultado, y aún así era mejor que un juicio de expertos. Y cómo ventaja adicional tenías un número respaldatorio para demostrar por qué esto era más prioritario e ir a convencer stakeholders o otras áreas que tuviesen que participar en caso que fuera necesario.

Sin duda luego de equivocar varias veces la estimación tu palabra pierde credibilidad e incluso tu puesto puede peligrar!

Ahora bien, ¿no sería genial si te dijera que hay un método más preciso? Y aún mejor, ¿si te dijera que ese método es menos complejo que la evaluación financiera?

Bueno el título de la sección ya anticipó la respuesta, pero la metodología de Product Discovery (o Descubrimiento de Producto) y sus técnicas de experimentación rápida ayuda justamente a:

  • Tener un valor preciso para priorizar y comunicar
  • Que será muy exacto porque está dado por feedback concreto de usuarios reales
  • Lo podés ejecutar con un prototipo que lleva un día construir

Ok, ¿cómo funciona esto de priorizar por experimentos?

Cuándo hacés un experimento propones un objetivo.

Por ejemplo, volviendo a nuestra idea de Spotify y aumentar 2% su ratio de conversión de usuarios pagos, supongamos que quiero experimentar agregar la posibilidad paga de que los usuarios busquen una canción “cantando al micrófono” de su celular o computadora.

Para ejecutar el experimento no tengo más que escribir un mail: “Querido usuario, estamos agregando esta nueva funcionalidad que costará $X por mes. Por favor, para suscribirse oprima el botón que ve a continuación”.

Creo que ejecutar esta prueba les llevaría alrededor de 20 minutos 🙂

La información que obtienen es invaluable, es un número muy preciso de la gente que estaría dispuesta a suscribirse al servicio.

Desde ya la prueba tiene algunas otras opciones:

  • Segmentar la base, no queremos bombardear a todos nuestros usuarios y quizás tengamos un segmento más “dispuesto” a optar por esto
  • Podemos complejizar aún más llevando al usuario a una landing con la posibilidad de ingresar la tarjeta de crédito. Con soluciones cómo Wix, Leadpages u otras, esto sería muy fácil de hacer aún sin saber programación, y me daría la validación más certera de que realmente quieren este producto (por más que después no les cobre y les muestre un mensaje de disculpas).

Luego de esperar unas horas el resultado del experimento voy a tener un muy preciso porcentaje de conversión, que es ni más ni menos de lo que necesito para priorizar.

Al ser estas pruebas tan rápidas, voy a poder ejecutar muchas en paralelo (o a lo largo de pocos días), y entonces tendré funcionalidades candidatas con sus resultados asociados:

  • Búsqueda por canto – 0,8% conversión
  • Incorporar video clips – 1,3% conversión
  • Reproducir canciones de adelante hacia atrás – 0,01% conversión

Luego de ponderar el esfuerzo de cada una (que será motivo de otro artículo), la priorización es prácticamente automática. Y no sólo eso, las chances de que una vez construida se alcance el valor de negocio estimado son realmente altas.

No se si logran ver el poder que tienen esto pero creanme que luego de haber luchado con métodos complejos de priorización y con la frustración de que las estimaciones no se cumplan, esto realmente se siente como una salvación.

Si aún no bajaste mi guía introductoria a Product Discovery, puede ser un excelente momento para que la leas!

Me encantaría que en los comentarios me cuentes qué técnicas de priorización usas, qué desafíos te presenta, y cualquier feedback u opinión de priorizar con experimentos.