To evalueringer, begge OpenAIs
OpenAI har udgivet to kodeevalueringer rettet mod de sprog, kunderne siger at modellerne håndterer dårligt, med resultater, i et forskningsindlæg 19. oktober. MultiLangBench beder en model bygge en SQLite-kompatibel databasemotor fra bunden i hvert af tyve navngivne sprog. En anden evaluering beder den migrere COBOL-programmer til et andet sprog uden at ændre, hvad de gør.
Alle tal nedenfor er OpenAIs, fremstillet af OpenAI på selskabets egne modeller. Opsætningen og testsuiten til MultiLangBench er lagt på GitHub med resultater per sprog, så den første halvdel kan kontrolleres; selve pointtallene er endnu ikke gentaget af andre.
COBOL er gulvet
Ved maksimal ræsonnementsindsats oplyser OpenAI, at GPT-6 Astra består gennemsnitligt 87,4 procent af testene over de tyve sprog, mod 26,8 procent for GPT-5.6 Sol. Selskabet skriver, at modellen kommer over 83 procent i nitten ud af tyve — og at det tyvende er COBOL, på 72,1 procent.
Det er stadig et stort spring fra udgangspunktet. OpenAI sætter GPT-5.6 Sol til 10,9 procent på COBOL, så løftet er omkring enogtres point. De øvrige sprog med lidt materiale flytter sig længere: Fortran fra 21,4 til 83,5 procent, OCaml fra 25,6 til 85,8 og Visual Basic fra 27,5 til 89,4.
Den billige model fortæller noget andet. GPT-6 Luna ligger på 40,3 procent i gennemsnit over de tyve sprog ved maksimal indsats — bedre end GPT-5.6 Sol i hvert testet sprog, men langt under Astra, og på COBOL kun 17,1 procent. Det, den køber i stedet, er pris: OpenAI anslår en gennemsnitlig API-omkostning på 0,77 dollar per prøve mod 3,48 for GPT-5.6 Sol, omkring 78 procent lavere.
Migreringstesten er næsten færdig
Den anden evaluering er den med praktisk betydning. Den beder en model migrere COBOL-programmer til C++, Java, Kotlin, Python eller Rust med bevaret adfærd, og den rettes hårdt: skjulte test kræver byte-for-byte lighed i observerbare uddata, og en migrering tæller kun, hvis alle test går igennem.
OpenAI oplyser GPT-6.1 Sol til 86,6 procents træfsikkerhed ved lav ræsonnementsindsats, mod 5,4 procent for GPT-5.6 Sol ved samme indstilling, til 61 procent af API-omkostningen. Skrues indsatsen op, når træfsikkerheden 97,9 procent — hvad OpenAI selv beskriver som næsten at mætte evalueringen. En test, der udgives på 97,9 procent, har omtrent én modelgeneration tilbage.
At rettningen er hård, skyldes aritmetik. COBOLs fastpunktsaritmetik kasserer overskydende decimaler, medmindre afrunding udtrykkeligt bedes om, så en omskrivning, der afrunder, kører fejlfrit og giver andre finansielle resultater. OpenAI bemærker, at anvendelse på produktionssoftware “stadig kræver ekspertgennemgang og test mod systemets forretningsregler og afhængigheder”.
Hvorfor netop disse sprog
OpenAIs argument er, at disse sprog bærer infrastruktur, ingen kan slukke. Med henvisning til eksterne kilder skriver selskabet, at COBOL bærer mere end 40 procent af netbanksystemerne, 80 procent af korttransaktionerne i butik og 95 procent af hævetransaktionerne, og at Fortran bruges i vejrprognoser og sikkerhedsanalyse af kernereaktorer. Vanskeligheden er ifølge selskabet, at der findes langt mindre kode og dokumentation på disse sprog at lære af, at dokumentationen ofte er ufuldstændig, at de oprindelige udviklere er holdt op, og at vigtige forretningsregler kun findes i koden.
Det der er værd at følge
Den nyttige prøve på denne udgivelse er ikke gennemsnittet i overskriften, men hvad der sker, når nogen uden for OpenAI kører MultiLangBench. Suiten er offentlig, resultaterne per sprog er udgivet, og afstanden mellem 87,4 procent i gennemsnit og 72,1 på COBOL er konkret nok til at kontrollere. Det andet at holde øje med er, om en test, forfatteren selv allerede har drevet til 97,9 procent, bliver erstattet af en sværere eller stille lagt væk.
