¿Por qué el dato siempre llega tarde?
En producto, y en la vida, nos gusta presumir de que nos guiamos por los datos. Data-driven. Suena incluso responsable. Pero la realidad es otra, y es que el dato viene a posteriori. Esta semana volvía a escuchar a Íñigo Medina en este podcast donde insiste en esta idea. La práctica diaria nos demuestra por qué ocurre: por un lado, desde que tenemos un dato hasta que lo volvemos a medir, lo habitual es que el contexto mute tan rápido que dicho dato no esté midiendo lo mismo. Por el otro, la experiencia nos ha enseñado que cuando una métrica se convierte en el objetivo, deja de ser una buena métrica.
Que el dato "venga a posteriori" no quiere decir sólo que llega tarde o diferente: también que se deforma. Tomemos como ejemplo el reciente benchmark ARC-AGI-3, que mide la capacidad de resolver problemas de diferentes modelos LLM y donde ningún modelo ha puntuado más de 0.3%. Ante esto, la pregunta es obligada: ¿Cuánto tardaremos en ver esta puntuación multiplicada por 10? ¿Este año? ¿Querrá decir que ese nuevo LLM será 10 veces superior? Si yo estuviera a cargo de su lanzamiento, pondría bastante foco en conseguir una puntuación alta. Es pura ley de Goodhart: el benchmark envejece en cuanto se publica.
Las decisiones importantes de producto rara vez se toman porque “los datos lo dicen”. Se toman antes. Se toman con intuición, con contexto, por señales del mercado, con una tesis sobre el usuario o por convicción del CEO. El dato llega después, a validar, matizar o desmontar la historia que ya nos hemos contado. Pero cuidado: para que un dato pueda realmente desmontar una intuición, los criterios de fracaso deben fijarse antes de medir, no después.
Reconocer esta incertidumbre no es una excusa para dejar de medir. Los datos siguen siendo imprescindibles para detectar patrones o elaborar hipótesis, pero la medición debe acotar la intuición, no sustituirla. Cuando una empresa decide entrar en un mercado, cambiar el pricing, simplificar una experiencia o apostar por una tecnología nueva, normalmente no tiene evidencia concluyente. Si la tuviera, ya no sería estrategia: sería ejecución. No hacemos producto guiados por datos; hacemos producto bajo incertidumbre, usando los datos para construir criterio.