Un resultado significativo de cuatro
Vals AI publicó la prueba el 9 de octubre. Construyó 50 aplicaciones web completas a partir de especificaciones de producto escritas, desplegó cada una con Docker Compose y luego puso agentes de navegador a recorrer los flujos de uso, puntuando cada construcción por la fracción de pruebas de interfaz superadas.
La ejecutaron dos modelos: GPT 6 Sol y Claude Opus 5.5. Cada uno la hizo dos veces — una como agente único, otra como agente principal que delega en subagentes — con esfuerzo de razonamiento medio y máximo. Son ocho configuraciones, cada una ejecutada una vez.
El resumen de Vals AI es tajante: “Los equipos cuestan entre 1,8 y 5,1 veces más que los agentes únicos, y solo una diferencia de puntuación fue estadísticamente significativa”.
La que sí lo fue correspondía a la configuración más débil. GPT 6 Sol con esfuerzo medio puntuó un 77,6% en solitario y un 84,9% en equipo, una ganancia de 7,3 puntos con p = 0,005. Las otras tres comparaciones arrojaron valores de p entre 0,16 y 0,81. Sol con esfuerzo máximo pasó del 89,0% al 90,4%. Claude Opus 5.5 con esfuerzo medio pasó del 91,5% al 91,2%, ligeramente a la baja. Con esfuerzo máximo pasó del 89,8% al 93,2%, la mayor ganancia bruta de la tabla y aun así no significativa en una sola ejecución.
Lo que costaron los equipos
Los multiplicadores varían según el modelo y el ajuste, sin seguir al beneficio. Los equipos costaron 2,5 veces lo de un agente único para Sol con esfuerzo medio, 1,8 veces con el máximo, 2,2 veces para Opus con esfuerzo medio, y 5,1 veces para Opus con esfuerzo máximo: justo la configuración cuya ganancia Vals AI no pudo calificar de significativa.
El tiempo de reloj se movió en direcciones opuestas para los dos modelos. Ejecutar subagentes en paralelo acortó las ejecuciones de Sol. Los equipos de Opus tardaron hasta 2,3 veces más que sus agentes únicos, de modo que para ese modelo la delegación no compró ni una puntuación fiable ni velocidad.
La palanca barata ya estaba ahí
El número más útil del estudio no va de equipos. Para Sol, subir el esfuerzo de razonamiento al máximo elevó el agente único en 11,4 puntos, con p < 0,001: una ganancia mayor y mejor establecida que la que produjo su equipo con esfuerzo medio. Para Opus, subir el esfuerzo por sí solo tampoco cambió la puntuación de forma significativa.
En conjunto, es un argumento sobre dónde conviene poner el presupuesto sobrante. En esta prueba, y para uno de los dos modelos, el mando que ya existe superó a una arquitectura que cuesta entre 1,8 y 5,1 veces más ejecutar.
Los límites
Los límites son del propio estudio y Vals AI los expone: cada una de las ocho configuraciones se ejecutó una sola vez, así que las comparaciones individuales cargan mucha incertidumbre, y tres de cada cuatro diferencias no pueden separarse del ruido con esa evidencia. Superar el recorrido de un agente de navegador tampoco equivale a que la aplicación sea correcta o segura.
Sobre lo que sí incide el resultado es sobre una afirmación que el sector ha venido haciendo en anuncios de producto más que en mediciones publicadas: que delegar en más agentes mejora el resultado. En la única prueba donde alguien ha mirado a la vez la puntuación y la factura, sobre todo lo encareció. Lo que habrá que vigilar es si algún proveedor publica su propia comparación controlada, con el coste en tokens junto a la puntuación.
