¿Cómo probar que una solución de inteligencia artificial funciona de manera confiable?

Una demo bien armada casi siempre convence. Tiene datos limpios, un flujo pensado para lucir, y treinta minutos donde todo sale como se planeó. El problema es que convencer en una sala de juntas y demostrar que algo funciona en la operación real son dos cosas distintas — y la segunda es la que en realidad importa antes de confiar en un sistema.

Los datos de la demo no son los datos de tu operación

Cualquier sistema se ve bien con información ordenada, completa y elegida para mostrar su mejor cara. Tu operación real tiene lo contrario: registros incompletos, nombres mal capturados, el caso raro que rompe el patrón, el día en que dos cosas fallan al mismo tiempo. Un director que pide "verlo funcionar antes" está pidiendo, sin necesariamente saber cómo nombrarlo, que alguien pruebe el sistema contra ese desorden real — no contra el ejemplo curado de la presentación.

Correr en paralelo antes de cortar

La forma más confiable de probar un sistema nuevo es dejarlo correr al lado del proceso que va a reemplazar, durante el tiempo suficiente para comparar los mismos casos por los dos caminos. Si el proceso actual dice una cosa y el sistema nuevo dice otra, ahí está exactamente lo que hay que revisar antes de apagar el proceso viejo — no después, cuando ya no queda con qué comparar.

Esto cuesta tiempo y puede sentirse redundante — mantener dos procesos vivos a la vez casi nunca se siente eficiente. Pero es la única forma de tener evidencia real de que el sistema nuevo acierta, en vez de la impresión de que probablemente acierta.

Cómo lo hacemos en Anagrama

Las pruebas que un sistema tiene que superar quedan definidas desde el diagnóstico inicial, junto con las reglas y excepciones del proceso — no se improvisan al final ni dependen de que alguien "lo vea funcionar" y le parezca suficiente. Auditar una muestra real después de implementado sigue siendo parte del trabajo, no un paso que termina el día del lanzamiento.

Qué preguntar antes de confiar en un sistema nuevo

• ¿Ya lo vimos trabajar con los datos reales y desordenados de la operación, no solo con el ejemplo curado de la demo? Una demo limpia no prueba nada sobre cómo se comporta con tus excepciones.
• ¿Corrió en paralelo con el proceso actual el tiempo suficiente para comparar los mismos casos, uno a uno? Sin ese periodo, cortar el proceso viejo es un acto de fe, no una decisión con evidencia.
• ¿Quién audita una muestra real después de implementado, y con qué frecuencia? Confiar en un sistema no termina el día en que se aprueba — es un trabajo continuo.

¿Cuántas semanas corrió el sistema nuevo junto al proceso que reemplaza, comparando los mismos casos, antes de que alguien confiara en él?