Två utvärderingar, båda OpenAI:s
OpenAI har publicerat två kodutvärderingar inriktade på de språk som kunderna säger att modellerna hanterar dåligt, med resultat, i ett forskningsinlägg den 19 oktober. MultiLangBench ber en modell bygga en SQLite-kompatibel databasmotor från grunden i vart och ett av tjugo namngivna språk. En andra utvärdering ber den migrera COBOL-program till ett annat språk utan att ändra vad de gör.
Alla siffror nedan är OpenAI:s, framtagna av OpenAI på bolagets egna modeller. Uppsättningen och testsviten för MultiLangBench har släppts på GitHub med resultat per språk, så den första halvan går att kontrollera; poängen har ännu inte reproducerats av någon annan.
COBOL är golvet
Vid maximal resonemangsnivå uppger OpenAI att GPT-6 Astra klarar i genomsnitt 87,4 procent av testerna över de tjugo språken, mot 26,8 procent för GPT-5.6 Sol. Bolaget skriver att modellen når över 83 procent i nitton av tjugo — och att det tjugonde är COBOL, på 72,1 procent.
Det är ändå ett stort kliv från utgångsläget. OpenAI anger GPT-5.6 Sol till 10,9 procent på COBOL, så lyftet är ungefär sextioen punkter. De andra lågresursspråken rör sig längre: Fortran från 21,4 till 83,5 procent, OCaml från 25,6 till 85,8 och Visual Basic från 27,5 till 89,4.
Den billiga modellen berättar något annat. GPT-6 Luna når i snitt 40,3 procent över de tjugo språken vid maximal resonemangsnivå — bättre än GPT-5.6 Sol i varje testat språk, men långt under Astra, och på COBOL bara 17,1 procent. Det den köper i stället är pris: OpenAI uppskattar en genomsnittlig API-kostnad på 0,77 dollar per prov mot 3,48 för GPT-5.6 Sol, omkring 78 procent lägre.
Migreringstestet är nästan färdigt
Den andra utvärderingen är den med den praktiska poängen. Den ber en modell migrera COBOL-program till C++, Java, Kotlin, Python eller Rust med bevarat beteende, och rättas hårt: dolda tester kräver identitet byte för byte i observerbara utdata, och en migrering räknas bara om alla tester går igenom.
OpenAI uppger GPT-6.1 Sol till 86,6 procents träffsäkerhet vid låg resonemangsnivå, mot 5,4 procent för GPT-5.6 Sol vid samma inställning, till 61 procent av API-kostnaden. Höjs resonemangsnivån når träffsäkerheten 97,9 procent — vilket OpenAI själv beskriver som att nästan mätta utvärderingen. Ett test som publiceras på 97,9 procent har ungefär en modellsläpp kvar i sig.
Att rättningen är hård spelar roll av aritmetiska skäl. COBOL:s fastpunktsaritmetik kastar överskjutande decimaler om avrundning inte begärs uttryckligen, så en omskrivning som avrundar i stället kör felfritt och ger andra finansiella resultat. OpenAI noterar att tillämpning på produktionssystem “fortfarande kräver expertgranskning och tester mot systemets affärsregler och beroenden”.
Varför just dessa språk
OpenAI:s argument är att dessa språk bär infrastruktur ingen kan stänga av. Med hänvisning till externa källor skriver bolaget att COBOL bär mer än 40 procent av internetbanksystemen, 80 procent av kortköpen på plats och 95 procent av uttagsautomattransaktionerna, och att Fortran används i väderprognoser och säkerhetsanalys av kärnreaktorer. Svårigheten, skriver bolaget, är att det finns långt mindre kod och dokumentation på dessa språk att lära av, att dokumentationen ofta är ofullständig, att de ursprungliga utvecklarna har slutat, och att viktiga affärsregler bara finns i koden.
Vad som är värt att följa
Det användbara provet på det här släppet är inte genomsnittet i rubriken utan vad som händer när någon utanför OpenAI kör MultiLangBench. Sviten är offentlig, resultaten per språk är publicerade, och avståndet mellan 87,4 procent i snitt och 72,1 på COBOL är konkret nog att kontrollera. Det andra att följa är om ett test som dess egen upphovsman redan drivit till 97,9 procent ersätts med ett svårare eller tyst läggs ned.
