¿Cuándo una prueba piloto de inteligencia artificial está lista para pasar a producción?

La mayoría de las pruebas piloto de inteligencia artificial no fracasan por la tecnología. Fracasan al querer llevarlas a producción, porque nadie definió con anticipación qué tenía que demostrar la prueba piloto para considerarse lista. Termina midiéndose por si a la gente le gustó usarlo — y eso responde una pregunta distinta a la que en realidad importa.

Que funcione la prueba piloto no significa que esté lista para producción

Una prueba piloto suele correr con un grupo pequeño, en condiciones controladas, durante un periodo tranquilo. Ahí es fácil que todo salga bien. La operación completa es otra prueba: más volumen, más turnos, más sitios, y sobre todo, las excepciones que casi nunca aparecen en un grupo chico — el caso raro que solo sucede una vez al mes, pero que en toda la operación sucede todos los días en algún lugar.

Confundir estas dos pruebas sale caro en ambos sentidos: escalar antes de tiempo expone a la operación completa a fallas que la prueba piloto nunca alcanzó a ver, y quedarse frenado sin escalar por miedo, cuando ya se demostró lo que hacía falta, cuesta el tiempo que la operación pudo haber ganado.

El criterio se acuerda antes de empezar, no se inventa al final

Antes de arrancar una prueba piloto conviene dejar por escrito qué tendría que pasar para escalarla a producción — no como aspiración, sino como lista verificable: cuántas de las excepciones conocidas de la operación tiene que resolver, qué pasa si la conexión falla, qué vuelve a suceder cuando cambia el turno o el encargado. Esa lista se acuerda con quien conoce la operación de todos los días, no solo con quien construye el sistema.

Con esa lista en mano, la pregunta de escalar deja de ser una intuición ("se ve que ya funciona") y se convierte en una revisión: ¿de las condiciones que acordamos, cuáles ya se probaron y cuáles todavía no? Lo que falte marca exactamente qué le falta a la prueba piloto, no una sensación general de que "hace falta más tiempo".

Cómo lo hacemos en Anagrama

Las excepciones que una prueba piloto tiene que superar salen de la misma documentación inicial del proceso — la que levantamos antes de construir nada. Eso convierte la decisión de escalar en algo que se puede revisar con evidencia, no en una plática de pasillo sobre si "ya se ve bien". El sistema pasa a producción cuando la lista acordada está resuelta, no cuando alguien siente que ya es momento.

Qué preguntar antes de escalar una prueba piloto a producción

• ¿Definimos, antes de empezar la prueba piloto, qué tenía que demostrar para escalarla? Si el criterio se está discutiendo apenas ahora, ya se decidió tarde.
• ¿La prueba piloto ya enfrentó las excepciones reales de la operación completa, o solo el caso más simple? Una prueba piloto sin excepciones no probó nada que valga para la operación entera.
• ¿Alguien identificó qué cambia entre la prueba piloto y la operación completa — volumen, turnos, sitios — antes de dar el siguiente paso? Esa diferencia es exactamente lo que va a fallar primero si se ignora.

Que la prueba piloto haya funcionado no basta — falta que ya haya enfrentado lo que la operación completa le va a exigir.