Duas avaliações, ambas da OpenAI
A OpenAI publicou duas avaliações de programação dirigidas às linguagens que os seus clientes dizem que os modelos tratam mal, com os respetivos resultados, num texto de investigação de 19 de outubro. O MultiLangBench pede a um modelo que construa de raiz um motor de base de dados compatível com SQLite em cada uma de vinte linguagens. Uma segunda avaliação pede-lhe que migre programas em COBOL para outra linguagem sem alterar o que fazem.
Todos os números abaixo são da OpenAI, produzidos pela OpenAI nos seus próprios modelos. A montagem da avaliação e o conjunto de testes do MultiLangBench foram publicados no GitHub com resultados por linguagem, pelo que a primeira metade é verificável; as pontuações ainda não foram reproduzidas por mais ninguém.
COBOL é o chão
No esforço máximo de raciocínio, a OpenAI diz que o GPT-6 Astra passa em média 87,4% dos testes nas vinte linguagens, contra 26,8% do GPT-5.6 Sol. A empresa afirma que o modelo passa dos 83% em dezanove das vinte — e que a vigésima é o COBOL, com 72,1%.
Continua a ser um salto grande face ao ponto de partida. A OpenAI coloca o GPT-5.6 Sol nos 10,9% em COBOL, pelo que a subida é de cerca de sessenta e um pontos. As outras linguagens com pouco material avançam mais: Fortran de 21,4% para 83,5%, OCaml de 25,6% para 85,8% e Visual Basic de 27,5% para 89,4%.
O modelo barato conta outra história. O GPT-6 Luna fica numa média de 40,3% nas vinte linguagens no esforço máximo — melhor do que o GPT-5.6 Sol em todas as linguagens testadas, mas muito abaixo do Astra, e em COBOL chega apenas aos 17,1%. O que compra em troca é preço: a OpenAI estima um custo médio de API de 0,77 dólares por amostra contra 3,48 do GPT-5.6 Sol, cerca de 78% menos.
O teste de migração está quase terminado
A segunda avaliação é a que tem consequência operacional. Pede a migração de programas COBOL para C++, Java, Kotlin, Python ou Rust preservando o comportamento, e é corrigida com dureza: testes ocultos exigem paridade byte a byte nas saídas observáveis, e uma migração só conta se passarem todos.
A OpenAI dá ao GPT-6.1 Sol 86,6% de acerto com esforço de raciocínio baixo, contra 5,4% do GPT-5.6 Sol na mesma definição, a 61% do custo de API. Subindo o esforço, o acerto chega aos 97,9% — o que a própria OpenAI descreve como quase saturar a avaliação. Um teste publicado nos 97,9% tem aproximadamente a margem de um lançamento.
A dureza da correção importa por aritmética. A aritmética de vírgula fixa do COBOL descarta as casas decimais excedentes salvo se o arredondamento for pedido explicitamente, por isso uma reescrita que arredonde corre sem erros e produz resultados financeiros diferentes. A OpenAI nota que aplicar isto a software em produção “continua a exigir revisão especializada e testes contra as regras de negócio e as dependências do sistema”.
Porquê estas linguagens
O argumento da OpenAI é que estas linguagens sustentam infraestrutura que ninguém pode desligar. Citando fontes externas, diz que o COBOL suporta mais de 40% dos sistemas de banca em linha, 80% das transações com cartão presenciais e 95% das operações em caixas automáticas, e que o Fortran é usado em previsão meteorológica e em análise de segurança de reatores nucleares. A dificuldade, acrescenta, é que há muito menos código e documentação nestas linguagens para um modelo aprender, a documentação está muitas vezes incompleta, os programadores originais saíram, e regras de negócio importantes existem apenas no código.
O que observar
O teste útil deste lançamento não é a média do título mas o que acontece quando alguém de fora da OpenAI correr o MultiLangBench. A suite é pública, os resultados por linguagem estão publicados, e a distância entre os 87,4% de média e os 72,1% do COBOL é concreta que chegue para ser verificada. A outra coisa a observar é se um teste que o seu autor já levou aos 97,9% é substituído por um mais difícil ou retirado em silêncio.
