Evalúa tu agente de IA antes de ponerlo en producción

Tienes un agente que responde de maravilla cuando lo pruebas tú. Le haces tres preguntas, acierta las tres, y la tentación es lanzarlo. No lo hagas todavía. La evaluación de un agente no va de que te funcione a ti en la demo, va de saber cómo se comporta con los casos raros, las preguntas mal escritas y los usuarios que no piensan como tú.

Por qué la demo engaña

Cuando pruebas tu propio agente, sin darte cuenta le haces las preguntas que sabes que responde bien y las formulas como él espera. Tus clientes no. Escriben con faltas, piden cosas fuera de alcance, encadenan dos preguntas en una y usan palabras que no habías previsto. Un agente basado en un modelo probabilístico puede acertar diez veces y fallar la undécima con la misma pregunta. La demo mide tu suerte, no la fiabilidad.

Monta tu set de evaluación

1. Reúne casos reales: preguntas de clientes, tickets de soporte, ejemplos de un compañero que no sea tú. Si aún no tienes tráfico, escríbelos imaginando al usuario más torpe.
2. Para cada caso, anota qué sería una buena respuesta y qué sería un fallo inaceptable. Este paso es el que casi todos se saltan.
3. Incluye casos difíciles a propósito: preguntas fuera de alcance, ambiguas, con datos que el agente no debería inventar.
4. Guarda el set en un archivo y no lo cambies a la ligera: es tu regla de medir, y tiene que ser estable para comparar.

Qué medir

• Acierto en la tarea: ¿resuelve lo que pide el usuario, no algo parecido?
• Comportamiento en los límites: ¿dice "no lo sé" cuando toca, en vez de inventar?
• Formato y tono: ¿responde como necesita tu producto, sin desviarse de las reglas?
• Coste y latencia: ¿cuánto tarda y cuánto cuesta cada respuesta a este volumen?

Automatiza para cazar regresiones

El valor real llega cuando puedes pasar todo el set con un comando. Cambias el prompt para arreglar un caso y, al reejecutar, ves si has roto otros tres. Esto es lo que separa un agente que mejora de uno que va dando bandazos. Para juzgar respuestas abiertas puedes revisar a mano al principio y, cuando el set crece, apoyarte en otro modelo como juez, siempre con una muestra revisada por ti para no fiarte a ciegas.

No necesitas una plataforma cara ni mil métricas para empezar. Necesitas un puñado de casos reales, un criterio claro de qué es correcto y la disciplina de volver a medir cada vez que tocas algo. Con eso pasas de "a mí me funciona" a "sé que funciona", que es justo lo que te separa de un incidente con un cliente.