Cinquenta problemas que ninguém havia publicado
Um grupo de físicos montou um teste com 50 problemas de física teórica em nível de pesquisa que nunca foram publicados, cada um com resposta verificável, e colocou cinco agentes comerciais de IA para resolvê-los sem nenhuma pista humana. O artigo, TheoPhysEval, foi publicado no arXiv em 9 de outubro. Os autores dizem que um especialista mundial na subárea resolveria um desses problemas em cerca de um dia ou menos, enquanto um especialista de uma área vizinha levaria bem mais tempo.
O desenho importa mais do que as notas. Os problemas saíram do trabalho inédito dos próprios autores, que é a única forma confiável de garantir que um modelo não leu a resposta antes. Eles abrangem física clássica, processos estocásticos e física biológica, mecânica estatística fora do equilíbrio, teorias de rede, fases quânticas da matéria, teoria da estrutura eletrônica e teoria quântica de campos.
Os resultados
Cada agente rodou em duas trilhas: uma realista, com busca na literatura e capacidade de escrever e executar scripts, e uma isolada, sem acesso à internet. Na trilha realista, o GPT-6-Astra rodando no Codex resolveu 49 de 50. O Claude Opus 5.5 na CLI do Claude Code resolveu 46. O Gemini 3.8 Flash no Antigravity resolveu 34, e os dois modelos de pesos abertos, DeepSeek-V4.1-Flash e GLM 5.3, resolveram 27 e 21.
Os custos impressionam tanto quanto as notas. Os autores calculam 116,28 dólares pela rodada completa do Astra na trilha realista, o que dá cerca de 2,33 dólares por problema, contra 240,43 do Opus e 37,42 do DeepSeek. A rodada do GLM foi coberta por um plano de programação, a um custo real de 180 dólares pelas duas trilhas; a preços de API teria custado 311,71 e 371,46.
Tirar a literatura quase não mudou nada
O achado em que os autores se detêm é a trilha isolada. Astra e Opus resolveram 46 de 50 cada um sem qualquer acesso à internet — três a menos para o Astra, exatamente o mesmo para o Opus. O Gemini fez 31, o GLM 26 e o DeepSeek 25. Muitos desses problemas exigem fórmulas e notações específicas de artigos específicos, e os autores escrevem que um humano não conseguiria sequer tentar alguns deles sem consultar o artigo de referência. Que os modelos consigam sugere, nas palavras do artigo, memorização significativa da literatura de pesquisa em física.
O único problema que o Astra errou na trilha realista era um problema inverso — recuperar uma equação diferencial a partir de uma curva dada — e nenhum modelo o resolveu. Tudo o que qualquer outro agente acertou era um subconjunto do que o Astra acertou.
O que os próprios autores sinalizam
Duas ressalvas vêm de dentro do artigo. Cada agente rodou uma única vez por trilha, de modo que a diferença entre a trilha realista e a isolada cabe dentro da incerteza estatística da avaliação. E os autores inicialmente marcaram o Astra como errado em vários problemas antes de descobrir que suas próprias soluções de referência tinham erros sutis; corrigidas pelos especialistas, as respostas do Astra estavam certas em todos os casos.
As taxas de acerto são maiores do que as relatadas por outros testes de física teórica, o que os autores registram e dizem merecer explicação: ao examinar, julgam seus problemas mais avançados, e remetem a trabalhos recentes indicando que alguns testes de física são corrigidos de forma incorreta. O conjunto de dados está publicado, então a diferença pode ser conferida em vez de aceita por confiança.
