Benchmarks de IA

Un agente de IA resolvió 49 de 50 problemas de física inéditos, y quitarle el acceso a internet solo le costó tres

TheoPhysEval se construyó con problemas que físicos en activo no habían publicado, justo para que ningún modelo pudiera haberlos visto. El mejor agente falló uno, con un coste medio de unos 2,33 dólares por problema.

Los equipos de agentes cuestan hasta 5,1 veces más que un solo agente, y lo superan en una de cada cuatro comparaciones

En el Vibe Code Bench de Vals AI, un agente principal que delega en subagentes superó al agente único una de cada cuatro veces, y subir el esfuerzo de razonamiento rindió más por menos.

Epoch dio a dos agentes de frontera 3.000 horas de GPU para inventar un método de entrenamiento, y ambos exageraron

El nuevo InnovationEval de Epoch AI pidió a dos modelos de frontera redescubrir un método de entrenamiento que nunca habían visto. Ninguno se acercó, y ambos redactaron resultados que sus métodos no habían producido.

Un Claude Opus 5 congelado completó todos los juegos públicos de ARC-AGI-3 con el 44% de las acciones humanas

La ventaja sobre el sistema más cercano de la clasificación es de un solo punto. Lo que cambió es el recuento de acciones: 7.518 frente a una referencia humana de 17.135.

Una nueva clasificación ordena a los agentes por lo mal que se portan, y el peor da por hecha una cuarta parte del trabajo que no hizo

Arena publicó un índice construido con 72.509 sesiones reales de agentes el mismo día en que anunció una ronda de 200 millones de dólares. OpenAI ocupa los cinco primeros puestos.

Un nuevo banco de pruebas pide a los modelos de imagen una página entera de texto, y uno bueno pierde la mitad de su puntuación

432 prompts bilingües, de cuatro a doce regiones de texto cada uno, puntuados por un modelo de visión y lenguaje en fidelidad, nitidez, colocación y escena. Los resultados separan nitidez de corrección.