أرتيفيشال أناليسِس تضاعف الجزء السرّي من مؤشّرها لمنع المختبرات من التحايل عليه

أربعون بالمئة لا تراها المختبرات

نشرت أرتيفيشال أناليسِس في الرابع من سبتمبر الإصدار 4.2 من مؤشّر الذكاء الخاص بها، والتغيير الأبرز ليس درجة. فمجموعات الاختبار المحجوبة صارت تمثّل أربعين بالمئة من وزن المؤشّر، أي ضعف حصتها في الإصدار 4.1. ويتألف الجزء المحجوب من AA-Briefcase وAA-Omniscience وحلول CritPt، وتقول الشركة إن هذه الحصة سترتفع مجدّدًا في الإصدار الخامس.

والمنطق بسيط. فالمؤشّر المبني على اختبارات علنية يمكن التحسين تجاهه، عمدًا أو عبر تلوّث بيانات التدريب، والنموذج الذي رأى الامتحان عمليًا لا يجري قياسه. وإبقاء الإجابات سرًّا هو الدفاع الوحيد المتاح لجهة تقييم مستقلة.

وتصف الشركة الإصدار 4.2 بأنه إصدار وسيط يقدّم أجزاءً من الإصدار الخامس المخطّط له كي يواكب المؤشّر ما يجري في الصف الأول.

ما دخل وما خرج

أُضيف تقييمان. فـAA-Briefcase مجموعة الشركة الخاصة للعمل المعرفي بالوكلاء، بُنيت مع خبراء القطاع حول مشاريع واقعية متعددة الخطوات، وتُقيَّم بمزيج من جدول التقييم والمقارنة الثنائية في إنجاز المهمة وجودة التحليل والعرض. أما GDP.pdf الذي بنته Surge AI فيختبر الاستدلال المستندي المهني في دورة واحدة عبر مئة ملف PDF من عشرة مجالات، ويتطلّب جمع أدلة متناثرة في 4592 صفحة من النصوص والجداول والرسوم والحواشي والاستثناءات.

وخرج تقييم واحد. فقد سُحب GPQA Diamond، مجموعة الاستدلال العلمي على مستوى الدراسات العليا التي ظلّت عامين تظهر في بطاقات النماذج المتقدّمة، ووصفته الشركة بأنه تقييم ممتاز لكنه صار مشبعًا. وبالتوازي انتقل AA-LCR إلى الإصدار 1.1 بموجّه تقييم خاص به ومفاتيح إجابات مصحّحة، وحصل GDPval-AA v2 وAA-Briefcase على معاينة أفضل ومقياس Elo أُعيد تثبيته كي تبقى التقديرات مستقرّة مع وصول نماذج جديدة.

الترتيب بعد إعادة البناء

في المؤشّر بعد إعادة بنائه، يتصدّر Claude Fable 5.1 من أنثروبيك. ويأتي GPT-6 Astra من OpenAI ثانيًا، بما تصفه الشركة بتحسّن يقارب أربع نقاط عن مدخل OpenAI السابق. وتحلّ ميتا ثالثًا بين المختبرات، متقدّمة على SpaceXAI وKimi من مونشوت وZ.AI وغوغل.

وهذه قياسات مستقلة لا أرقام تعلنها الشركات عن نفسها: فأرتيفيشال أناليسِس تُجري كل تقييم بنفسها عبر الواجهات البرمجية العلنية للنماذج. وهذا بالضبط سبب ثقل رقم كهذا، في حين لا يحمل جدول نتائج المختبر عن نفسه الثقل ذاته.

لماذا تهمّ أرقام الإصدارات هنا

ثمة نتيجة تستحق قولًا صريحًا. فلأن المكوّنات والأوزان تغيّرت، لا يمكن مقارنة درجة في الإصدار 4.2 بدرجة في الإصدار 4.1. والنموذج الذي يبدو أنه تقدّم أو تراجع بين الإصدارين ربما قيس ببساطة بطريقة أخرى، كما أن سحب اختبار مشبع يضغط تلقائيًا أعلى المدى.

وما ينبغي متابعته هو الإصدار الخامس، حيث قالت الشركة إن الحصة المحجوبة سترتفع أكثر. والمقايضة التي تقبلها هي الشفافية مقابل الموثوقية: فكلما زاد ما لا يستطيع الجمهور فحصه من المؤشّر، صار التحايل عليه أصعب — وصار التدقيق فيه أصعب كذلك.