اختبار البرمجة الجديد من أوبن إيه آي يغطي عشرين لغة، وأفضل نماذجها أسوأ ما يكون في كوبول

تقييمان، كلاهما من أوبن إيه آي

نشرت أوبن إيه آي تقييمين برمجيين يستهدفان اللغات التي يقول عملاؤها إن النماذج تتعامل معها بشكل سيئ، مع نتائجهما، في منشور بحثي يوم 19 أكتوبر. يطلب ملتي لانغ بنش من النموذج أن يبني من الصفر محرك قواعد بيانات متوافقاً مع SQLite بكل لغة من عشرين لغة محددة. ويطلب تقييم ثانٍ منه ترحيل برامج كوبول إلى لغة أخرى دون تغيير ما تفعله.

كل رقم أدناه هو رقم أوبن إيه آي، أنتجته الشركة بتشغيل نماذجها. وقد نُشر إعداد التقييم وحزمة الاختبارات لملتي لانغ بنش على غيت هاب مع نتائج كل لغة، فالنصف الأول قابل للتحقق؛ أما الدرجات نفسها فلم يكررها أحد بعد.

كوبول هو القاع

عند أقصى جهد استدلالي، تذكر أوبن إيه آي أن جي بي تي-6 أسترا يجتاز في المتوسط 87.4% من الاختبارات عبر اللغات العشرين، مقابل 26.8% لجي بي تي-5.6 سول. وتقول الشركة إن النموذج يتجاوز 83% في تسع عشرة لغة من عشرين — وإن العشرين هي كوبول، عند 72.1%.

ويظل ذلك قفزة كبيرة عن نقطة البداية. فأوبن إيه آي تضع جي بي تي-5.6 سول عند 10.9% في كوبول، أي أن التحسن نحو واحد وستين نقطة. أما اللغات الأخرى قليلة الموارد فتتقدم أكثر: فورتران من 21.4% إلى 83.5%، وأوكامل من 25.6% إلى 85.8%، وفيجوال بيسك من 27.5% إلى 89.4%.

أما النموذج الأرخص فيروي حكاية أخرى. فجي بي تي-6 لونا يبلغ في المتوسط 40.3% عبر اللغات العشرين عند أقصى جهد — أفضل من جي بي تي-5.6 سول في كل لغة اختُبرت، لكنه أدنى بكثير من أسترا، ولا يتجاوز 17.1% في كوبول. وما يشتريه بدلاً من ذلك هو السعر: تقدّر أوبن إيه آي متوسط تكلفة الواجهة البرمجية بـ0.77 دولار للعينة مقابل 3.48 دولار لجي بي تي-5.6 سول، أي أقل بنحو 78%.

اختبار الترحيل شارف على الاكتمال

التقييم الثاني هو صاحب الأثر العملي. فهو يطلب ترحيل برامج كوبول إلى C++ أو جافا أو كوتلن أو بايثون أو رست مع الحفاظ على السلوك، ويُصحَّح بصرامة: اختبارات مخفية تشترط تطابقاً بايتاً ببايت في المخرجات المرئية، ولا يُحتسب الترحيل إلا إذا نجحت كل الاختبارات.

وتعطي أوبن إيه آي جي بي تي-6.1 سول دقة 86.6% عند جهد استدلالي منخفض، مقابل 5.4% لجي بي تي-5.6 سول عند الإعداد نفسه، وبنسبة 61% من تكلفة الواجهة البرمجية. وبرفع الجهد تبلغ الدقة 97.9% — وهو ما تصفه أوبن إيه آي نفسها بأنه يكاد يشبع التقييم. واختبار يُنشر عند 97.9% لا يبقى فيه سوى هامش جيل واحد تقريباً.

وصرامة التصحيح مسألة حسابية. فحساب كوبول ذو الفاصلة الثابتة يسقط الخانات العشرية الزائدة ما لم يُطلب التقريب صراحة، فإعادة كتابة تقرّب الأرقام ستعمل بلا أخطاء وتنتج نتائج مالية مختلفة. وتشير أوبن إيه آي إلى أن تطبيق ذلك على برمجيات الإنتاج “لا يزال يتطلب مراجعة خبراء واختباراً مقابل قواعد عمل النظام وتبعياته”.

لماذا هذه اللغات

حجة أوبن إيه آي أن هذه اللغات تحمل بنية تحتية لا يستطيع أحد إطفاءها. ونقلاً عن مصادر خارجية، تقول إن كوبول يسند أكثر من 40% من أنظمة الخدمات المصرفية عبر الإنترنت، و80% من معاملات البطاقات الحضورية، و95% من معاملات الصرّافات الآلية، وإن فورتران يُستخدم في التنبؤ بالطقس وتحليل سلامة المفاعلات النووية. والصعوبة، كما تقول، أن كمّ الشيفرة والتوثيق بهذه اللغات أقل بكثير مما يتعلم منه النموذج، وأن التوثيق كثيراً ما يكون ناقصاً، وأن المطورين الأصليين رحلوا، وأن قواعد عمل مهمة لم تعد موجودة إلا داخل الشيفرة.

ما يستحق المتابعة

الاختبار المفيد لهذا الإصدار ليس المتوسط في العنوان، بل ما سيحدث حين يشغّل أحد من خارج أوبن إيه آي ملتي لانغ بنش. فالحزمة علنية، ونتائج كل لغة منشورة، والفجوة بين 87.4% في المتوسط و72.1% في كوبول محددة بما يكفي للتحقق منها. والأمر الآخر الجدير بالمتابعة هو ما إذا كان اختبار دفعه صاحبه بالفعل إلى 97.9% سيُستبدل بآخر أصعب أم يُطوى بهدوء.