Deux évaluations, toutes deux d’OpenAI
OpenAI a publié deux évaluations de programmation visant les langages que ses clients disent mal gérés par les modèles, accompagnées de leurs résultats, dans un billet de recherche du 19 octobre. MultiLangBench demande à un modèle de bâtir de zéro un moteur de base de données compatible SQLite dans chacun de vingt langages. Une seconde évaluation lui demande de migrer des programmes COBOL vers un autre langage sans changer leur comportement.
Tous les chiffres ci-dessous sont ceux d’OpenAI, produits par OpenAI sur ses propres modèles. Le dispositif d’évaluation et la suite de tests de MultiLangBench ont été publiés sur GitHub avec les résultats par langage, de sorte que la première moitié est vérifiable ; les scores eux-mêmes n’ont encore été reproduits par personne d’autre.
COBOL est le plancher
À effort de raisonnement maximal, OpenAI annonce que GPT-6 Astra réussit en moyenne 87,4 % des tests sur les vingt langages, contre 26,8 % pour GPT-5.6 Sol. L’entreprise indique que le modèle dépasse 83 % dans dix-neuf des vingt — et que le vingtième est le COBOL, à 72,1 %.
Le mouvement reste considérable. OpenAI situe GPT-5.6 Sol à 10,9 % en COBOL, soit un bond d’environ soixante et un points. Les autres langages peu dotés progressent davantage : le Fortran de 21,4 % à 83,5 %, l’OCaml de 25,6 % à 85,8 %, le Visual Basic de 27,5 % à 89,4 %.
Le modèle bon marché raconte autre chose. GPT-6 Luna atteint 40,3 % en moyenne sur les vingt langages à effort maximal — mieux que GPT-5.6 Sol dans chaque langage testé, mais très loin d’Astra, et seulement 17,1 % en COBOL. Ce qu’il achète en échange, c’est le prix : OpenAI estime un coût d’API moyen de 0,77 dollar par échantillon contre 3,48 pour GPT-5.6 Sol, environ 78 % de moins.
Le test de migration est presque terminé
La seconde évaluation est celle qui a une portée opérationnelle. Elle demande de migrer des programmes COBOL vers C++, Java, Kotlin, Python ou Rust en préservant le comportement, et elle est notée sévèrement : des tests cachés exigent une parité octet par octet sur les sorties observables, et une migration ne compte que si tous les tests passent.
OpenAI donne GPT-6.1 Sol à 86,6 % de réussite à faible effort de raisonnement, contre 5,4 % pour GPT-5.6 Sol au même réglage, pour 61 % du coût d’API. En montant l’effort, la réussite atteint 97,9 %, ce qu’OpenAI décrit elle-même comme une évaluation presque saturée. Un test publié à 97,9 % a à peu près la marge d’une génération de modèles.
La sévérité de la notation tient à l’arithmétique. L’arithmétique en virgule fixe du COBOL supprime les décimales excédentaires sauf arrondi explicite ; une réécriture qui arrondit tournera donc sans erreur en produisant d’autres résultats financiers. OpenAI note que l’appliquer à du logiciel en production « exige encore une revue experte et des tests au regard des règles métier et des dépendances du système ».
Pourquoi ces langages
L’argument d’OpenAI est que ces langages portent une infrastructure que personne ne peut éteindre. Citant des sources extérieures, elle indique que le COBOL soutient plus de 40 % des systèmes de banque en ligne, 80 % des paiements par carte en présence et 95 % des opérations aux distributeurs, et que le Fortran sert à la prévision météorologique et à l’analyse de sûreté des réacteurs nucléaires. La difficulté, dit-elle, tient à ce qu’il existe bien moins de code et de documentation dans ces langages pour qu’un modèle apprenne, que la documentation est souvent incomplète, que les développeurs d’origine sont partis et que des règles métier importantes n’existent que dans le code.
À surveiller
Le vrai test de cette publication n’est pas la moyenne affichée mais ce qui arrivera quand quelqu’un d’extérieur à OpenAI fera tourner MultiLangBench. La suite est publique, les résultats par langage sont publiés, et l’écart entre 87,4 % en moyenne et 72,1 % en COBOL est assez précis pour être vérifié. L’autre point à surveiller est de savoir si un test que son auteur a déjà porté à 97,9 % sera remplacé par un plus difficile ou retiré discrètement.
