تسعة تقييمات وأربعة أرباع متساوية
أعادت أرتيفيشال أنالِسِس بناء مؤشر الذكاء لديها في 27 أكتوبر. ويجري الإصدار الخامس تسعة تقييمات في أربع فئات يزن كل منها 25 في المئة: العمل المعرفي والبرمجة والعلوم والقدرة العامة.
ينقسم العمل المعرفي إلى إيه إيه-بريفكيس بنسبة 15 في المئة، وأوتوميشن بينش-إيه إيه بنسبة 5، وجي دي بي.بي دي إف بنسبة 5. والبرمجة هي فرونتير كود 2.0 بنسبة 15 في المئة وترمينال-بينش 4.0 بنسبة 10. والعلوم هي ترمينال-بينش-ساينس بنسبة 15 في المئة والمجموعة الصعبة من كريت بي تي v2 بنسبة 10. أما الربع العام فهو إيه إيه-أومنيساينس 1.1 بنسبة 15 في المئة، وهو بدوره مقسوم إلى 10 في المئة للدقة و5 في المئة لانعدام الهلوسة، إضافة إلى إتش إل إي-دايموند بنسبة 10.
تقييمان جديدان: فرونتير كود 2.0، وهو اختبار برمجة خاص من كوغنيشن، وترمينال-بينش-ساينس، وفيه 70 مهمة بحث علمي وكيلية. وثلاثة تحديثات: إتش إل إي-دايموند يحل محل امتحان البشرية الأخير بنسخة منقّحة من ألف سؤال، وإيه إيه-أومنيساينس 1.1 يحذف الأسئلة المشبعة والعلنية ويعيد صياغة الملتبسة، وكريت بي تي v2 يسهم بمجموعة صعبة خاصة من أربعين سؤالاً. وثلاثة أُسقطت: جي دي بي فال-إيه إيه 2.1، وساي كود، وإيه إيه-إل سي آر 1.1. ولا تذكر أرتيفيشال أنالِسِس أسباب الحذف.
ستون في المئة من الدرجة لم تعد علنية
التغيير البنيوي أن 60 في المئة من المؤشر صار يستند إلى مجموعات اختبار خاصة أو إجابات محجوبة. وتسمّي أرتيفيشال أنالِسِس فرونتير كود 2.0 والمجموعة الصعبة من كريت بي تي v2 صراحةً بأنهما خاصان، وتقول إن إيه إيه-أومنيساينس يحتفظ بمجموعة خاصة إلى جانب مجموعة علنية منفصلة نُشرت على هَغِنغ فيس. ولا تفصّل أي التقييمات تشكّل بقية الستين في المئة.
وسبب ذلك هو التلوث: فالاختبار الذي تتوفر أسئلته على الإنترنت العلني ينتهي به الأمر داخل بيانات التدريب، فتكفّ درجته عن قياس ما بُنيت لقياسه. والثمن أن درجة لا يستطيع أحد خارج جهة التقييم إعادة إنتاجها يجب أن تُؤخذ على سبيل الثقة.
فجوة الأوزان المفتوحة انتقلت من 3 نقاط إلى 12
الأثر على الترتيب غير متكافئ. ففي الإصدار 4.3 كان أفضل نموذج مفتوح الأوزان يتخلف بثلاث نقاط عن المتصدر. وفي الإصدار الخامس صارت الفجوة 12 نقطة.
ويتصدر نموذج كيمي K3.1 برو من مونشوت فئة الأوزان المفتوحة بـ46 نقطة، رغم أن أوزانه لم تُنشر بعد فعلياً. ومن بين النماذج التي صدرت أوزانها، يتقدم ديب سيك V4.1 فلاش 1017 بأقصى استدلال وجي إل إم-5.3 بأقصى استدلال بـ32 نقطة، أي بفارق 26 نقطة عن رأس الجدول. أما نموذج أنثروبيك الصغير نفسه، كلود هايكو 5.5 بأقصى استدلال، فيحصل على 36، فوق كليهما.
رأس الجدول ليوم واحد
عند النشر كان المؤشر يضع كلود أوبوس 5.5 بأقصى استدلال عند 58، وجي بي تي-6 أسترا بأقصى استدلال عند 57، وجي بي تي-6.1 سول بأقصى استدلال عند 55، مع احتلال أنثروبيك وأوبن إيه آي المراكز الخمسة الأولى كلها، ثم جيميناي 4 أرغون باستدلال عالٍ عند 50.
ودام ذلك يوماً واحداً. فقد أصدرت غوغل جيميناي 4 كربون في 28 أكتوبر، ومنحته أرتيفيشال أنالِسِس 59 نقطة والمركز الأول في المؤشر الجديد.
ما يجب متابعته
الرقم الجدير بالمتابعة هو الفجوة لا المتصدر. ففارق 12 نقطة مقيس في معظمه على اختبارات لا يستطيع مجتمع الأوزان المفتوحة تشغيلها بنفسه ادعاء مختلف عن فارق 3 نقاط على اختبارات علنية، وأول إصدار مفتوح الأوزان يُقيَّم بالإصدار الخامس وتكون أوزانه منشورة فعلاً سيبيّن ما إذا كانت الفجوة خاصية في النماذج أم في القياس.
