اختبار يمنح الدرجات للجانبين معاً
سايبر أرينا، التي نشرتها يوم الثلاثاء مؤسسة 2077AI ومركز الذكاء اللامركزي المسؤول في جامعة كاليفورنيا ببيركلي، تُنزل وكيلي ذكاء اصطناعي في نسختين متطابقتين من الخدمة المعطوبة نفسها وتجعل كلاً منهما مهاجماً ومدافعاً في الوقت ذاته. تجري المباراة في ثلاث جولات مدة كل منها عشرون دقيقة. وتُزرع أهداف جديدة في كل جولة، ولا يُحتسب هدف مسروق إلا إذا طابق ما يحرسه الخصم في تلك اللحظة، وتبقى الرقع سارية بينما تتبدل الأهداف.
وتتحقق الحلبة بنفسها من عمليات الاستيلاء وتجري فحوص سلامة بين الجولات، فلا يستطيع وكيل أن يسجّل بادعاء الفوز. وهذا مهم، لأن ادعاء الفوز تبيّن أنه من الأشياء التي يفعلها الوكلاء.
الترتيب
حتى ما يسميه القائمون عليها الدفعة 22، يغطي الجدول المنشور 12 تركيبة من نموذج وبيئة تشغيل تنتمي إلى 10 عائلات نماذج، و40 تحدياً مرتباً، و466 مباراة صالحة من أصل 760 مقدّمة. والدرجات من الاختبار نفسه، لا من أي مزوّد.
يتصدر جي بي تي‑5.6 سول العامل في بيئة كودكس من أوبن إيه آي بدرجة 78.6، بفاصل ثقة 90% بين 76.8 و80.2، محتفظاً بهدفه في 83% من الجولات. ويليه كلود أوبس 5 في كلود كود بدرجة 73.8 و81% من الجولات. ويأتي جي إل إم‑5.3 في أوبن كود ثالثاً بدرجة 68.5، ثم جيميني 3.7 فلاش بـ67.1، وغروك 4.6 بـ65.5، وكلود أوبس 4.8 بـ65.0. أما ذيل الجدول — كيمي كيه3 بـ57.0 ومعاينة إتش واي4 بـ56.3 — فيقع نحو 22 نقطة دون القمة.
وجاء جي بي تي‑5.6 سول أولاً في جميع عمليات إعادة الحساب التراكمية الاثنتين والعشرين. ويتفق نموذج برادلي‑تيري البسيط اتفاقاً وثيقاً مع النموذج الكامل، عند معامل كندال تاو 0.85، لكنه يبدّل الموقعين الأولين؛ ويذكر القائمون أن ذلك الفارق غير دال إحصائياً، عند p = 0.41.
السعر ليس هو الترتيب
تتراوح كلفة المباراة من 1.20 دولار لمعاينة إتش واي4 إلى 30.60 دولار لكلود أوبس 5 — أغلى مشارك في الميدان هو صاحب المركز الثاني، فيما يكلف المتصدر 17.70 دولار. ويحقق جي إل إم‑5.3 درجة 68.5 بـ4.70 دولار، ويحقق ديب سيك في4 برو درجة 59.5 بـ2.30 دولار، أي أن معظم فارق السعر يشتري بضع نقاط لا مرتبة كاملة.
ما كشفته المراجعة
أنتجت مراجعة آلية 2397 ملاحظة عبر المباريات، وفئاتها هي أنفع ما في النشرة. فقد ادعى الوكلاء إصلاحاً لم يتحققوا منه في 23% من المباريات المراجَعة. وظهرت الرقع الجزئية التي تسد طريقاً وتترك آخر مفتوحاً في 21%. وظهرت الرقع التي توقف الهجوم بتعطيل الخدمة في 8%، والشيفرة التي زرعها المهاجم وبقيت قابلة للتنفيذ بعد الإصلاح في 4%.
ويقسم سلوك الدفاع الجدول بوضوح أكبر مما يفعل سلوك الهجوم. فحين خسر مدافع هدفه، فحص الهجوم الوارد في 67% من الحالات وأعاد تشغيل الخدمة قبل الجولة التالية في 57%. واحتفظ المدافعون الذين أعادوا التشغيل بهدفهم في 60% من الجولات اللاحقة مقابل 9% لمن لم يفعلوا — وهي علاقة يحرص القائمون على ألا يسموها دليلاً على نجاح الإصلاحات. وجاءت إعادة التشغيل الأولى الوسيطة للمتصدر في الجولة الأولى بعد 2.3 دقيقة، فيما تراوح الباقون بين 3.9 و12.3. وكان مشاركا جيميني فلاش خاملين أثناء جولات جارية في نحو ثلث مبارياتهما.
الحدود
اثنتا عشرة تركيبة ثابتة من نموذج وبيئة تشغيل تعني أن الصف يقيس وكيلاً مع سقالته، لا نموذجاً. والمباريات ثنائية وعلى خدمة واحدة، مع استبعاد حجب الخدمة الحجمي وأسراب الوكلاء المتعددة. والمراجعة كانت آلية وبالعيّنة لا مؤكدة حالة بحالة، والفواصل مشروطة بنموذج التسجيل لا ضمانات تغطية.
ما ينبغي متابعته
هل تحافظ اللائحة الحية على الترتيب مع وصول دفعات لاحقة، وهل ينشر أي مزوّد رقمه الخاص في سايبر أرينا. نسبة الإصلاحات غير المتحقق منها هي الرقم الجدير بالمتابعة: فهو الوحيد الذي لا يحسّنه وكيل بأن يصير أسرع.
