Dos evaluaciones, ambas de OpenAI
OpenAI ha publicado dos evaluaciones de programación dirigidas a los lenguajes que sus clientes dicen que los modelos manejan mal, junto con sus resultados, en una entrada de investigación del 19 de octubre. MultiLangBench pide a un modelo que construya desde cero un motor de base de datos compatible con SQLite en cada uno de veinte lenguajes. Una segunda evaluación le pide migrar programas en COBOL a otro lenguaje sin cambiar lo que hacen.
Todas las cifras que siguen son de OpenAI, producidas por OpenAI ejecutando sus propios modelos. El montaje de la evaluación y el conjunto de pruebas de MultiLangBench se han publicado en GitHub con resultados por lenguaje, de modo que la primera mitad es verificable; las puntuaciones aún no las ha reproducido nadie más.
COBOL es el suelo
Con el máximo esfuerzo de razonamiento, OpenAI informa de que GPT-6 Astra supera una media del 87,4% de las pruebas en los veinte lenguajes, frente al 26,8% de GPT-5.6 Sol. La compañía dice que el modelo pasa del 83% en diecinueve de los veinte, y que el vigésimo es COBOL, con un 72,1%.
Sigue siendo un salto grande desde el punto de partida. OpenAI sitúa a GPT-5.6 Sol en el 10,9% en COBOL, así que la mejora es de unos sesenta y un puntos. Los otros lenguajes poco representados avanzan más: Fortran del 21,4% al 83,5%, OCaml del 25,6% al 85,8% y Visual Basic del 27,5% al 89,4%.
El modelo barato cuenta otra historia. GPT-6 Luna promedia un 40,3% en los veinte lenguajes con el máximo esfuerzo de razonamiento: mejor que GPT-5.6 Sol en todos los lenguajes probados, pero muy por debajo de Astra, y en COBOL solo llega al 17,1%. Lo que compra a cambio es precio: OpenAI estima un coste medio de API de 0,77 dólares por muestra frente a 3,48 de GPT-5.6 Sol, alrededor de un 78% menos.
El test de migración está casi terminado
La segunda evaluación es la que tiene la consecuencia operativa. Pide migrar programas en COBOL a C++, Java, Kotlin, Python o Rust preservando el comportamiento, y se corrige con dureza: pruebas ocultas exigen paridad byte a byte en las salidas observables, y una migración solo cuenta si pasan todas.
OpenAI da a GPT-6.1 Sol un 86,6% de acierto con esfuerzo de razonamiento bajo, frente al 5,4% de GPT-5.6 Sol en el mismo ajuste, al 61% del coste de API. Subiendo el esfuerzo de razonamiento, el acierto llega al 97,9%, lo que la propia OpenAI describe como “casi saturar la evaluación”. Un test publicado al 97,9% tiene aproximadamente el margen de un lanzamiento por delante.
Que la corrección sea estricta importa por aritmética. La aritmética de coma fija de COBOL descarta los decimales sobrantes salvo que se pida redondeo explícito, así que una reescritura que redondee funcionará sin errores y dará resultados financieros distintos. OpenAI señala que aplicar esto a software en producción “sigue exigiendo revisión experta y pruebas contra las reglas de negocio y las dependencias del sistema”.
Por qué estos lenguajes
El planteamiento de OpenAI es que estos lenguajes sostienen infraestructura que nadie puede apagar. Citando fuentes externas, dice que COBOL soporta más del 40% de los sistemas de banca en línea, el 80% de las transacciones con tarjeta presenciales y el 95% de las operaciones en cajeros, y que Fortran se usa en predicción meteorológica y en análisis de seguridad de reactores nucleares. La dificultad, añade, es que hay mucho menos código y documentación en estos lenguajes para que un modelo aprenda, la documentación suele estar incompleta, los desarrolladores originales se han ido y reglas de negocio importantes existen solo en el código.
Qué observar
La prueba útil de este lanzamiento no es la media del titular, sino qué ocurre cuando alguien ajeno a OpenAI ejecute MultiLangBench. La suite es pública, los resultados por lenguaje están publicados y la distancia entre el 87,4% medio y el 72,1% de COBOL es lo bastante concreta como para comprobarla. Lo otro que hay que vigilar es si un test que su autor ya ha llevado al 97,9% se sustituye por uno más difícil o se retira sin ruido.
