Tu juez LLM no ve el sistema: por eso necesita pruebas mecánicas a su lado
Juzgar agentes solo con texto es una forma elegante de engañarte a ti mismo. La lectura correcta es combinar evaluación LLM con checks deterministas del sistema de archivos y dejar que cada uno haga lo que sabe hacer.
📰 Qué ha pasado
El artículo plantea que evaluar agentes únicamente por texto no basta. Propone combinar el juicio de un LLM con comprobaciones deterministas sobre el sistema de archivos. La idea es detectar de forma mecánica ciertas trampas y reservar la revisión humana o el juicio más flexible para lo que realmente lo necesita. El enfoque está pensado para evaluaciones de agentes o pipelines automáticos.
🧭 El contexto: por qué ahora
Esto viene de un problema muy conocido en sistemas con IA: cuando dejas que el evaluador sea demasiado parecido al evaluado, ambos pueden compartir ceguera. Un LLM puede valorar bien la intención, la redacción o la coherencia superficial, pero no siempre detecta si el estado real del sistema coincide con lo que dice el texto. Por eso, en ingeniería seria, las evaluaciones robustas suelen mezclar señales: reglas, checks de estado, tests y, solo donde aporta valor, juicio probabilístico. La novedad aquí no es la idea de combinar métodos, sino recordar que confiar solo en el juicio del modelo es una receta para falsos positivos y autoengaño.
🎯 A quién le afecta y cómo
- Si evalúas agentes con prompts y respuestas: necesitas añadir verificaciones de estado real, no solo scoring textual.
- Si mantienes pipelines automáticos: los checks deterministas te pueden ahorrar mucho ruido y muchos falsos éxitos.
- Si haces QA de sistemas con IA: esta pieza te da una pauta clara para separar lo verificable de lo opinable.
- Si lideras equipos de ML/infra: te interesa porque reduce discusiones estériles sobre si “el modelo lo ha visto bien”.
⚖️ Nuestra opinión
Criterio propio, sin nota de prensa: lo bueno, lo malo y lo que haríamos nosotros.
El artículo apunta a una verdad que demasiada gente sigue ignorando: un juez LLM no es un oráculo, es una herramienta con sesgos y límites muy concretos. Cuando evalúas agentes, el texto puede sonar perfecto mientras el sistema ha dejado basura, ha tocado donde no debía o ha incumplido una condición crítica. En esos casos, confiar solo en el juicio del modelo es casi una invitación a automatizar el autoengaño. La combinación con checks deterministas es lo correcto porque devuelve la evaluación al terreno de los hechos.
Además, esta separación de responsabilidades es sana desde el punto de vista de ingeniería. Lo verificable debe verificarse con mecanismos verificables; lo ambiguo, con juicio probabilístico o humano. Mezclarlo todo en un único score “inteligente” suele producir métricas bonitas y decisiones malas. La propuesta no es sofisticada por ser novedosa, sino por ser disciplinada, y eso en IA ya es bastante.
Nosotros haríamos una matriz de evaluación donde el LLM solo puntúe lo que no se puede reducir a reglas, y todo lo demás se compruebe con tests de estado, ficheros, logs o salidas estructuradas. Empezaríamos por identificar qué trampas son mecánicas y automatizarlas antes de meter más juicio probabilístico. Y si una métrica no se puede explicar con una comprobación concreta, no la usaríamos para tomar decisiones importantes.
acciones:[
✅ Qué hacer con esto
Acciones concretas si esto te toca de cerca.