To evalueringer, begge OpenAIs
OpenAI har publisert to kodeevalueringer rettet mot språkene kundene sier at modellene håndterer dårlig, med resultater, i et forskningsinnlegg 19. oktober. MultiLangBench ber en modell bygge en SQLite-kompatibel databasemotor fra bunnen i hvert av tjue navngitte språk. En annen evaluering ber den migrere COBOL-programmer til et annet språk uten å endre hva de gjør.
Alle tallene nedenfor er OpenAIs, laget av OpenAI på selskapets egne modeller. Oppsettet og testsuiten for MultiLangBench er lagt ut på GitHub med resultater per språk, så den første halvdelen kan kontrolleres; poengsummene er ennå ikke gjentatt av noen andre.
COBOL er gulvet
Ved maksimal resonneringsinnsats oppgir OpenAI at GPT-6 Astra består i snitt 87,4 prosent av testene over de tjue språkene, mot 26,8 prosent for GPT-5.6 Sol. Selskapet skriver at modellen kommer over 83 prosent i nitten av tjue — og at det tjuende er COBOL, på 72,1 prosent.
Det er likevel et stort sprang fra utgangspunktet. OpenAI setter GPT-5.6 Sol til 10,9 prosent på COBOL, så løftet er rundt sekstien punkter. De andre lavressursspråkene flytter seg lenger: Fortran fra 21,4 til 83,5 prosent, OCaml fra 25,6 til 85,8 og Visual Basic fra 27,5 til 89,4.
Den billige modellen forteller noe annet. GPT-6 Luna ligger på 40,3 prosent i snitt over de tjue språkene ved maksimal innsats — bedre enn GPT-5.6 Sol i hvert testet språk, men langt under Astra, og på COBOL bare 17,1 prosent. Det den kjøper i stedet, er pris: OpenAI anslår en gjennomsnittlig API-kostnad på 0,77 dollar per prøve mot 3,48 for GPT-5.6 Sol, omtrent 78 prosent lavere.
Migreringstesten er nesten ferdig
Den andre evalueringen er den med praktisk betydning. Den ber en modell migrere COBOL-programmer til C++, Java, Kotlin, Python eller Rust med bevart oppførsel, og den rettes strengt: skjulte tester krever byte-for-byte likhet i observerbare utdata, og en migrering teller bare om alle testene går gjennom.
OpenAI oppgir GPT-6.1 Sol til 86,6 prosent treffsikkerhet ved lav resonneringsinnsats, mot 5,4 prosent for GPT-5.6 Sol ved samme innstilling, til 61 prosent av API-kostnaden. Økes innsatsen, når treffsikkerheten 97,9 prosent — noe OpenAI selv beskriver som nesten å mette evalueringen. En test som publiseres på 97,9 prosent har omtrent én modellgenerasjon igjen.
At rettingen er streng, henger sammen med aritmetikk. COBOLs fastpunktsaritmetikk forkaster overskytende desimaler med mindre avrunding bes om uttrykkelig, så en omskriving som avrunder i stedet, kjører feilfritt og gir andre finansielle resultater. OpenAI bemerker at bruk på produksjonsprogramvare “fortsatt krever ekspertgjennomgang og testing mot systemets forretningsregler og avhengigheter”.
Hvorfor disse språkene
OpenAIs argument er at disse språkene bærer infrastruktur ingen kan slå av. Med henvisning til eksterne kilder skriver selskapet at COBOL bærer mer enn 40 prosent av nettbanksystemene, 80 prosent av korttransaksjonene i butikk og 95 prosent av minibanktransaksjonene, og at Fortran brukes i værvarsling og sikkerhetsanalyse av kjernereaktorer. Vanskeligheten, skriver selskapet, er at det finnes langt mindre kode og dokumentasjon på disse språkene å lære av, at dokumentasjonen ofte er ufullstendig, at de opprinnelige utviklerne har sluttet, og at viktige forretningsregler bare finnes i koden.
Det som er verdt å følge
Den nyttige prøven på denne publiseringen er ikke gjennomsnittet i overskriften, men hva som skjer når noen utenfor OpenAI kjører MultiLangBench. Suiten er offentlig, resultatene per språk er publisert, og avstanden mellom 87,4 prosent i snitt og 72,1 på COBOL er konkret nok til å kontrollere. Det andre å følge med på, er om en test forfatteren selv alt har drevet til 97,9 prosent blir erstattet med en vanskeligere eller stille lagt bort.
