Una sola tarea separa la cabeza de la tabla
De las 56 tareas de formalización de nivel de investigación de Autoform-Hard, 48 las resuelven tanto Claude Fable 5.2 como GPT-6.2 Sol. GPT-6.2 Astra resuelve esas 48 y una más, y ningún otro modelo de la tabla la resuelve.
La tarea extra es un teorema de 2006 de Agata Smoktunowicz sobre la rapidez con que puede crecer un álgebra graduada. Vals AI, que mantiene la tabla, dice en una entrada publicada el 18 de noviembre que la prueba resultante en Lean es “la única formalización de la que hemos oído hablar” para ese teorema.
Qué dice el teorema y cuánto costó la ejecución
El enunciado es un resultado de hueco. Un álgebra finitamente generada sobre un cuerpo, graduada por los números naturales, sin divisores de cero y con parte de grado cero de dimensión finita tiene dimensión de Gelfand–Kirillov como mucho 2 o al menos 3, nunca estrictamente entre ambas.

El modelo trabajó solo en un entorno aislado con Lean, Mathlib y una terminal. La prueba ocupa 1.794 líneas de Lean, tardó 94 minutos de reloj y 146 turnos de agente, y costó 21,58 dólares al precio de lista de OpenAI. Autoform-Hard permite tres horas y un tope de 200 dólares por tarea.
Estuvo a punto de no ocurrir. Hacia el minuto 47, el modelo presentó una prueba completa para el caso conmutativo pero con un sorry en el general. El corrector la rechazó y el modelo informó honestamente de que la tarea quedaba sin resolver. El arnés no acepta la rendición hasta que el agente ha gastado 20 dólares; llevaba unos 8, así que lo devolvió al trabajo. Pasó nueve minutos pensando sin escribir código, empezó otro enfoque, y el corrector aceptó la prueba completa 39 minutos después del informe de “no resuelto”.
Cómo se comprobó el resultado
Autoform-Hard corrige en sala limpia. El teorema se reconstruye a partir de una copia de confianza de la tarea, el enunciado debe coincidir exactamente con el original, las definiciones del banco deben permanecer intactas y la prueba solo puede usar los axiomas estándar de Lean. Después un núcleo independiente la reproduce. Vals revisó además esta prueba a mano y señala que no hay sorry, ni native_decide, ni axiomas nuevos, ni objetos del banco redefinidos.
La prueba no es una formalización del argumento de Smoktunowicz. Tras una apertura compartida sigue su propio camino, rodeando tres resultados profundos de álgebra y geometría algebraica en los que se apoya la prueba publicada y que Mathlib no contiene. En su lugar, el modelo definió una magnitud que llama “capacidad” —cuánto crece un espacio al multiplicarlo por una pieza generadora fija— y construyó el resto sobre ella.

Cómo queda la tabla
En la clasificación de Autoform-Hard, GPT-6.2 Astra va primero con un 87,50%, a 15,24 dólares por tarea. Claude Fable 5.2 y GPT-6.2 Sol empatan en 85,71%, a 23,21 y 8,09 dólares por tarea respectivamente. Gemini 4 Carbon sigue con 71,43%, Gemini 4 Hydrogen con 64,29% y Gemini 4 Argon con 48,21%. Beam 1.0 y MiniMax-M3.1-Flash puntúan cero.
Cincuenta y seis tareas son pocas, y se eligieron precisamente porque ninguno de los diez modelos de frontera del estudio original de AutoformBench las resolvió. Una tarea mueve la puntuación 1,8 puntos, que es justo el margen entre el primer y el segundo puesto. El banco subyacente es de Meta FAIR; Vals corrigió cinco tareas, tres de ellas falsas tal como estaban escritas.