Un test que se ejecuta contra servidores reales
Investigadores de la Academia Zhongguancun de la Universidad de Pekín, Meituan y la Universidad de Ciencia y Tecnología de Hong Kong han publicado MCPHallu, un test para los fallos que llevan a un agente con herramientas a informar de algo que no ocurrió. Apareció en arXiv el 5 de noviembre.
La decisión de diseño que importa es que las herramientas son reales. Las 358 tareas se ejecutan contra 36 servidores de producción del Model Context Protocol dentro de contenedores aislados, no contra respuestas simuladas. Cada tarea se construye alrededor de un disparador estructural de uno de cuatro tipos de fallo: fijar demasiado pronto una sola rama del plan, perseguir un objetivo que las herramientas disponibles no pueden alcanzar, usar una herramienta de un modo para el que no estaba pensada y perder el contexto anterior.
Las puntuaciones
Catorce agentes de ocho proveedores se ejecutaron en 5.012 trayectorias y se puntuaron de 0 a 1, donde más es mejor. La media de todos ellos es 0,642.
Claude Opus 4.6 lidera con 0,728, seguido de Claude Sonnet 4.5 con 0,710, Claude Sonnet 4.6 con 0,702 y Claude Opus 4.5 con 0,696. Doubao-Seed-1.8, de ByteDance, viene después con 0,692, luego GPT-5-chat con 0,659 y DeepSeek-V3.1 con 0,655. Al final quedan Gemini 3 Flash con 0,583 y GLM-5.1 con 0,539.
Un tipo de fallo hace el daño
La columna global esconde el resultado que merece contarse. Promediado entre los 14 agentes, el uso indebido de herramientas es el subtipo más fácil y el objetivo inalcanzable el más difícil: es el peor subtipo para 12 de los 14 modelos.
La diferencia es amplia. En uso indebido de herramientas, Claude Opus 4.6 saca 0,885 e incluso GLM-5.1 llega a 0,688. En objetivo inalcanzable, la mejor marca de la tabla es el 0,585 de Claude Sonnet 4.6, DeepSeek-V4 cae a 0,302 y Gemini 3 Flash a 0,284. En el conjunto, los agentes superaron el 23,2% de las ejecuciones de objetivo inalcanzable, para una media de subtipo de 0,458.
Dicho de otro modo, estos agentes son bastante mejores usando una herramienta correctamente que diciendo que las herramientas que tienen no pueden hacer lo que se les pide. El artículo también registra un desplazamiento medio de 6,9 de 13 posiciones entre subtipos, y una correlación de −0,12 entre las puntuaciones de colapso de rama y de objetivo inalcanzable: ser bueno en una no dice casi nada de la otra.
Lo que no resuelve
El test lo ejecutan sus propios autores, y la alineación va una generación por detrás en algunos casos: OpenAI aparece con GPT-5-chat y GPT-4o, y Anthropic con Claude 4.5 y 4.6 en lugar de sus versiones actuales. Una repetición con los modelos de hoy daría otra tabla.
El hallazgo estructural es más duradero que la clasificación. Si una puntuación global mueve a un agente 6,9 puestos según qué fallo se mida, un solo número es la forma equivocada de elegir uno; y el número que importa en un despliegue suele ser el del fallo que ese despliegue no puede tolerar.
