Cincuenta problemas que nadie había publicado
Un grupo de físicos ha construido un banco de pruebas con 50 problemas de física teórica de nivel de investigación que nunca se habían publicado, cada uno con una respuesta verificable, y ha puesto a cinco agentes de IA comerciales a resolverlos sin ninguna pista humana. El artículo, TheoPhysEval, se publicó en arXiv el 9 de octubre. Sus autores afirman que un experto mundial en la especialidad correspondiente resolvería uno de estos problemas en un día o menos, mientras que un experto de un campo vecino tardaría bastante más.
El diseño importa más que las notas. Los problemas salieron del trabajo inédito de los propios autores, que es la única manera fiable de asegurarse de que un modelo no ha leído ya la respuesta. Abarcan física clásica, procesos estocásticos y física biológica, mecánica estadística fuera del equilibrio, teorías en retículo, fases cuánticas de la materia, teoría de la estructura electrónica y teoría cuántica de campos.
Los resultados
Cada agente se ejecutó en dos vías: una realista, con búsqueda bibliográfica y capacidad de escribir y ejecutar guiones, y otra aislada, sin acceso a internet. En la vía realista, GPT-6-Astra ejecutado en Codex resolvió 49 de 50. Claude Opus 5.5 en la CLI de Claude Code resolvió 46. Gemini 3.8 Flash en Antigravity resolvió 34, y los dos modelos de pesos abiertos, DeepSeek-V4.1-Flash y GLM 5.3, resolvieron 27 y 21.
Los costes son tan llamativos como las notas. Los autores calculan 116,28 dólares por la tanda completa de Astra en la vía realista, lo que da unos 2,33 dólares por problema, frente a 240,43 de Opus y 37,42 de DeepSeek. La tanda de GLM se cubrió con un plan de programación por un coste real de 180 dólares para ambas vías; a tarifas de API habrían sido 311,71 y 371,46.
Quitarles la bibliografía apenas sirvió
El hallazgo en el que se detienen los autores es la vía aislada. Astra y Opus resolvieron 46 de 50 cada uno sin acceso a internet: tres menos para Astra, exactamente lo mismo para Opus. Gemini obtuvo 31, GLM 26 y DeepSeek 25. Muchos de estos problemas requieren fórmulas y notaciones concretas de artículos concretos, y los autores escriben que un humano no podría ni intentar algunos sin consultar el artículo de referencia. Que los modelos sí puedan sugiere, en palabras del texto, una memorización significativa de la literatura de investigación en física.
El único problema que Astra falló en la vía realista era un problema inverso —recuperar una ecuación diferencial a partir de una curva dada— y ningún modelo lo resolvió. Todo lo que acertó cualquier otro agente era un subconjunto de lo que acertó Astra.
Lo que los propios autores advierten
Dos salvedades vienen de dentro del artículo. Cada agente se ejecutó una sola vez por vía, así que la diferencia entre la vía realista y la aislada cae dentro de la incertidumbre estadística de la evaluación. Y los autores puntuaron mal a Astra en varios problemas antes de descubrir que sus propias soluciones de referencia contenían errores sutiles; una vez corregidas por los expertos, las respuestas de Astra resultaron correctas siempre.
Las tasas de acierto son más altas que las de otros bancos de pruebas de física teórica, algo que los autores señalan y dicen que merece explicación: consideran que sus problemas son más avanzados al examinarlos, y remiten a trabajos recientes que apuntan a que algunos bancos de física se corrigen mal. El conjunto de datos está publicado, así que la discrepancia se puede comprobar en lugar de creerse.
