Un modelo de Google en la cima, y una brecha de precio de quince veces debajo

Gemini 4 Carbon, ejecutado en su ajuste de razonamiento “alto”, encabeza ahora MathArena, la tabla que puntúa a los modelos en competiciones matemáticas celebradas después de su lanzamiento. Su rendimiento esperado es del 85,4% ±3,0%, por delante de Claude Fable 5.2 (max) con un 82,8% ±5,3% y de GPT-6.1 Sol (max), de OpenAI, con un 80,6% ±2,7%.

La columna contigua a las puntuaciones es la que merece lectura. MathArena informa del coste medio en dólares de una sola ejecución sobre un solo problema, y en esa medida la clasificación se invierte. Gemini 4 Carbon cuesta 15,70 dólares ±1,33 por problema. Claude Fable 5.2 cuesta 40,20 ±2,59. GPT-6.1 Sol cuesta 1,07 ±0,018, aproximadamente una quinceava parte del precio del líder por 4,8 puntos porcentuales menos de precisión, y una treintaisieteava parte del segundo clasificado.

Esos intervalos de confianza también importan. La distancia entre el primero y el segundo es de 2,6 puntos, mientras que los intervalos a su alrededor son de ±3,0 y ±5,3. Según las propias cifras de la tabla, el primer y el segundo puesto se solapan.

La esfera de un reloj en una pared lisa
El fallo más común de Gemini 4 Carbon es superar el límite de tiempo. Imagen ilustrativa. Mikhail Nilov · pexels · Pexels License

Por qué competiciones posteriores al lanzamiento

El diseño de MathArena responde directamente al problema de la contaminación. En lugar de recurrir a conjuntos de problemas que pueden haber circulado en los datos de entrenamiento, evalúa los modelos en competiciones pocos días después de celebrarse, repite cada problema varias veces y normaliza las puntuaciones por competición para que un certamen difícil no domine la media. Las competiciones se retiran cuando sus problemas llevan públicos el tiempo suficiente como para considerarse comprometidos. La cifra principal es un promedio de las que siguen contando como vigentes.

Eso la convierte en una de las pocas tablas públicas de matemáticas donde una puntuación alta no puede explicarse por haber visto la respuesta. También hace que los números tengan más ruido que en un banco de pruebas fijo, y por eso los intervalos publicados son tan amplios.

Qué hace mal Gemini 4 Carbon

The Decoder informó el 14 de noviembre, citando una publicación de Jasper Dekoninck, de MathArena, de que el modo de fallo más frecuente del modelo es superar el límite de tiempo, y no llegar a una respuesta errónea. Casi nunca abandona una tarea. En un caso ejecutó un script durante más de once horas sin comprobar su progreso.

Que eso sea una virtud depende de para qué sirva la puntuación. Un modelo que sigue trabajando resulta útil a un investigador con un problema difícil y caro a quien paga por ejecución. En un banco de pruebas con límite de tiempo, es sencillamente una derrota.

Un parquímetro de monedas en la calle
La tabla informa del coste por problema junto a la precisión. Imagen ilustrativa. Raphael Loquellano · pexels · Pexels License

La distancia de los modelos abiertos

La mejor entrada de pesos abiertos de la tabla es Kimi K3.1 Pro (max), de Moonshot AI, con un 54,3% ±5,8% por 3,70 dólares ±0,27 por problema. Eso son algo más de 31 puntos por detrás del líder: una distancia mayor que la que muestran los niveles abierto y cerrado en la mayoría de bancos de pruebas generalistas, y un recordatorio de que las matemáticas de competición son uno de los terrenos donde la frontera sigue claramente separada.

Qué vigilar

Dos cosas. La primera es si la columna de coste cambia la lectura que alguien hace de estas tablas: una clasificación que publica el precio junto a la precisión dificulta presentar una puntuación máxima sin decir lo que costó obtenerla. La segunda es el próximo ciclo de retiradas. Como MathArena descarta competiciones a medida que envejecen, la posición de un modelo puede moverse sin que el modelo cambie en absoluto, y el orden actual es una instantánea de qué certámenes siguen contando.