Um agente que anota as regras enquanto joga
Pesquisadores do University College London, do Noah’s Ark Lab da Huawei no Reino Unido e da Universidade de Liverpool publicaram um artigo que descreve um agente capaz de vencer todos os níveis dos 25 jogos públicos do ARC-AGI-3, a versão interativa do teste ARC, usando 44% das ações de que um jogador humano precisou. O artigo foi depositado no arXiv em 8 de outubro.
O ARC-AGI-3 coloca o agente num jogo de grade sem instruções. Não lhe dizem o objetivo, os controles nem as regras, e ele não pode ler o código do ambiente. Precisa deduzir tudo jogando. As pontuações são informadas como Relative Human Action Efficiency, ou RHAE, que pondera cada nível pelo número de ações de que a referência humana precisou e tem 100 como limite máximo.
O agente, chamado Memento 3, chega a esse limite: uma RHAE média de 100,0 nos 25 jogos e em seus 183 níveis. O que torna o resultado incomum é que o modelo de linguagem por baixo nunca muda. Os autores executam o sistema no Claude Code com o Claude Opus 5 como modelo base e o esforço de raciocínio no nível mais alto, e os pesos permanecem congelados do começo ao fim.
O aprendizado acontece em um arquivo, não nos pesos
Em vez de treinar, o agente mantém um livro de regras: um documento em linguagem natural com o que acredita, a cada momento, sobre o funcionamento do ambiente, deixando deliberadamente sem especificação aquilo que ainda não descobriu. Depois compila esse livro em Python executável e usa o programa para prever o que o jogo fará e para planejar.
Quando uma previsão falha, o agente revisa o livro de regras e recompila. Uma revisão só é aceita sob duas condições: o modelo precisa julgar que o novo código é fiel ao livro de regras, e uma repetição célula por célula do que realmente aconteceu no jogo precisa reproduzir as transições observadas. Todo o espaço de trabalho — livro de regras e módulos compilados — vive em um repositório Git, com commit e etiqueta em cada iteração, e é assim que o agente consegue desfazer uma hipótese que um nível posterior desmente. Os autores apresentam isso como um caminho baseado em modelo para a automelhoria recursiva, e descrevem uma extensão populacional que mantém vários modelos de mundo em paralelo, compartilhando evidências entre eles.
A comparação honesta é a contagem de ações
Uma pontuação máxima convida a um título descuidado, então vale ser preciso sobre o que há de novo. O Memento 3 não é o primeiro sistema a concluir todos os jogos públicos do ARC-AGI-3. A entrada mais próxima na própria tabela comparativa do artigo, baseline1, marcou 99,0 e também terminou os 25. As seguintes ficam mais atrás: NOOA com 85,1 e 19 jogos concluídos, OPINE-World com 78,4 e 20, DreamTeam com 38,1 e 6, e Continual Harness com 20,5 e 3.
É na eficiência que a diferença aparece. O Memento 3 encerra o conjunto em 7.518 ações, contra 8.347 do baseline1 e uma referência humana de 17.135, uma razão de 0,44. Por jogo, a razão vai de 0,20 a 0,67, com mediana de 0,42. Diante de um Claude Opus 5 sem acréscimos rodando o ARC Prize Standard harness, o artigo relata uma RHAE média 59,3 pontos superior — o que diz menos sobre o Memento 3 do que sobre quanto do resultado vem do andaime em volta e não do modelo.
Todos os números de referência, inclusive a linha de base humana de ações, vêm do cartão oficial do ARC Prize de cada sistema, de modo que todas as colunas são contadas do mesmo jeito.
O que o artigo não afirma
O 100,0 é sobre os 25 jogos públicos. O artigo não relata resultado em um conjunto reservado, e a medição da própria ARC Prize Foundation é feita em jogos que o participante não viu. Saturar a parte pública é um resultado real de engenharia; não é o mesmo que resolver o teste, e seus responsáveis já foram explícitos: o que conta é o conjunto privado.
Os autores também testaram se o mesmo mecanismo funciona fora do planejamento discreto. Em um estudo de caso com o Pong do Atari, o agente aprendeu um controlador de realimentação que venceu por 21:0 em cada um dos três episódios avaliados, com aberturas diferentes e sem novas chamadas ao modelo de linguagem depois que o controlador estava pronto.
O que vale acompanhar é se aparece um cartão do ARC Prize para o Memento 3 nos jogos reservados, e como fica o número de eficiência quando o ambiente é um sobre o qual o livro de regras nunca teve a chance de errar.
