Un banco de pruebas donde la respuesta ya existe
La mayoría de los bancos de pruebas de agentes para trabajo de conocimiento son generativos: construir un modelo financiero, un informe o una hoja de cálculo a partir de un encargo, y que lo juzgue una rúbrica u otro modelo. kw-bench, publicado en arXiv el 26 de octubre por George Juraj Salapa, apunta a la otra mitad del oficio: la parte investigativa, donde la respuesta ya existe y hay que encontrarla.
Su primera familia de tareas es una reconstrucción de cinco años de IVA que abarca tres generaciones de SAP: ECC heredado, una migración parcial a S/4HANA y el rediseño de una consultora. El artículo dice que los datos llegan como extractos de sistema en bruto: cabeceras de página, formatos numéricos locales, tablas de enlace parciales y ninguna documentación de cómo se conecta nada. La corrección es determinista. No hay un modelo haciendo de juez.
El resultado que convierte esto en noticia
El autor ejecutó cuatro arneses —Claude Code, Codex, OpenCode y micro-cc— sobre el mismo modelo, DeepSeek v4.1 Flash, durante dos horas cada uno.
Los dos arneses agnósticos respecto al modelo produjeron respuestas parciales: OpenCode obtuvo 0,542 y micro-cc 0,528. Los dos arneses de laboratorio, ejecutando un modelo distinto de aquel en torno al cual se construyeron, obtuvieron 0,00 cada uno. El artículo atribuye el fallo a la inercia —la dificultad de mantener vivas muchas señales débiles a lo largo de una sesión larga— y no a un único paso equivocado.
Con un modelo de frontera la tarea deja de ser difícil. micro-cc y Claude Code sobre Claude Opus 5.5 obtuvieron 0,9986 y 1,000, en 22 y 25 minutos respectivamente. El resumen que el artículo hace de esa brecha es la frase que merece citarse: por debajo de la frontera, el arnés decide hasta dónde llega un modelo.
Qué establece y qué no
La afirmación es más estrecha de lo que sugiere la cifra, y el artículo es claro sobre su alcance. Se trata de una sola familia de tareas, de un solo autor, con un modelo representando todo lo que está por debajo de la frontera y otro representando la frontera. Que un arnés saque cero en una reconstrucción de IVA con un modelo de gama media no prueba que saque cero en general.
Lo que el diseño sí hace bien es eliminar las salidas de emergencia habituales. Una corrección determinista significa que no hay un modelo juez que premie una respuesta que suene plausible, y una tarea derivada de un encargo real significa que los modos de fallo son los que de verdad encuentran los especialistas: formatos inconsistentes, claves de unión ausentes, ningún esquema.
Por qué la cuestión del arnés importa comercialmente
La implicación práctica va a contracorriente de cómo se venden los productos de agente. Los proveedores comercializan el modelo; los compradores mezclan modelos cada vez más. Si el andamiaje alrededor del modelo carga con tanta parte del resultado como sugiere este banco de pruebas en la gama media, entonces un arnés afinado para el modelo de un laboratorio es otro producto cuando se apunta al de otro.
El artículo hace además una afirmación de coste fácil de comprobar y que conviene comprobar: que un encargo de semanas de este tipo cuesta ahora minutos y unos pocos dólares. El código y las tareas están publicados, lo que significa que los ceros son reproducibles por cualquiera que no esté de acuerdo. Eso es lo siguiente que hay que vigilar: si los dos arneses que no sacaron nada siguen sin sacar nada cuando los ejecute otra persona.
