وكيل يكتب القواعد وهو يلعب
نشر باحثون من يونيفرسيتي كوليدج لندن ومن مختبر نوح آرك التابع لهواوي في المملكة المتحدة ومن جامعة ليفربول ورقة بحثية تصف وكيلاً يتجاوز كل مستويات الألعاب العامة الخمس والعشرين في ARC-AGI-3، وهو النسخة التفاعلية من اختبار ARC، ويفعل ذلك بـ44 بالمئة من الحركات التي احتاجها لاعب بشري. وأُودعت الورقة في arXiv في الثامن من أكتوبر.
يُنزل ARC-AGI-3 الوكيل في لعبة شبكية بلا أي تعليمات. لا يُخبَر بالهدف ولا بأزرار التحكم ولا بالقواعد، ولا يستطيع قراءة الشيفرة المصدرية للبيئة. عليه أن يستنتج كل ذلك باللعب. وتُعلَن النتائج بمقياس Relative Human Action Efficiency أو RHAE، الذي يرجّح كل مستوى بعدد الحركات التي احتاجها الأساس البشري، وسقفه مئة.
يبلغ هذا الوكيل، المسمى ميمنتو 3، ذلك السقف: متوسط RHAE يساوي 100.0 عبر الألعاب الخمس والعشرين ومستوياتها الـ183. والغريب في النتيجة أن نموذج اللغة في الأسفل لا يتغير أبداً. فالمؤلفون يشغّلون النظام في Claude Code بنموذج Claude Opus 5 أساساً وبمستوى استدلال مرتفع جداً، وتبقى الأوزان مجمّدة من البداية إلى النهاية.
التعلّم يحدث في ملف، لا في الأوزان
بدلاً من التدريب، يحتفظ الوكيل بكتاب قواعد: مستند بلغة طبيعية يسجّل فيه ما يعتقده في كل لحظة عن طريقة عمل البيئة، ويترك عن قصد ما لم يفهمه بعد غير محدَّد. ثم يترجم هذا الكتاب إلى برنامج Python قابل للتنفيذ، ويستعمل البرنامج للتنبؤ بما ستفعله اللعبة وللتخطيط.
وعندما يفشل تنبؤ، يراجع الوكيل كتاب القواعد ويعيد الترجمة. ولا تُقبل المراجعة إلا بشرطين: أن يحكم النموذج بأن الشيفرة الجديدة مطابقة لكتاب القواعد، وأن تنجح إعادة تشغيل دقيقة خلية بخلية لما حدث فعلاً في اللعبة في إعادة إنتاج التحولات المرصودة. ومساحة العمل بأكملها — كتاب القواعد والوحدات المترجمة — تعيش في مستودع Git، يُحفظ ويُوسَم بعد كل دورة، وبهذا يستطيع الوكيل أن يسحب فرضية يدحضها مستوى لاحق. ويصف المؤلفون ذلك طريقاً قائماً على النماذج نحو التحسين الذاتي المتكرر، ويشرحون امتداداً سكانياً يُبقي عدة نماذج عالم متنافسة تعمل بالتوازي وتتبادل الأدلة بينها.
المقارنة الصادقة هي عدد الحركات
النتيجة القصوى تستدعي عنواناً متعجّلاً، فمن المفيد التحديد الدقيق لما هو جديد. فميمنتو 3 ليس أول نظام يُنهي كل ألعاب ARC-AGI-3 العامة. فأقرب مشارك في جدول المقارنة الذي تضمّه الورقة نفسها، وهو baseline1، سجّل 99.0 وأنهى بدوره الألعاب الخمس والعشرين. أما من بعده فالمسافة تتسع: NOOA بـ85.1 وقد أنهى 19 لعبة، وOPINE-World بـ78.4 و20 لعبة، وDreamTeam بـ38.1 و6، وContinual Harness بـ20.5 و3.
الفارق ينفتح في الكفاءة. فميمنتو 3 يُنهي المجموعة في 7518 حركة مقابل 8347 حركة لـbaseline1، وأساس بشري يبلغ 17135، أي نسبة 0.44. وتتراوح النسبة لكل لعبة بين 0.20 و0.67، ووسيطها 0.42. وأمام نموذج Claude Opus 5 بلا إضافات يعمل بإطار ARC Prize Standard، تذكر الورقة متوسط RHAE أعلى بـ59.3 نقطة — وهو ما يقول عن ميمنتو 3 أقل مما يقوله عن حجم ما يأتي من السقالة المحيطة بالنموذج لا من النموذج نفسه.
وجميع أرقام الأساس، بما فيها أساس الحركات البشري، مأخوذة من بطاقة ARC Prize الرسمية لكل نظام، فتُحسب الأعمدة كلها بالطريقة ذاتها.
ما لا تزعمه الورقة
رقم 100.0 يخص الألعاب العامة الخمس والعشرين. والورقة لا تذكر نتيجة على مجموعة محتجزة، وقياس مؤسسة ARC Prize نفسها يجري على ألعاب لم يرها المشارك. وإشباع الجزء العام نتيجة هندسية حقيقية؛ لكنه ليس حلاً للاختبار، وقد كان القائمون عليه صريحين في أن المجموعة الخاصة هي ما يُعتدّ به.
واختبر المؤلفون كذلك ما إذا كانت الآلية نفسها تعمل خارج التخطيط المتقطع. ففي دراسة حالة على لعبة Pong من أتاري، تعلّم الوكيل متحكّماً بالتغذية الراجعة فاز 21:0 في كل من ثلاث مباريات مُقيَّمة ببدايات مختلفة، دون أي نداء إضافي لنموذج اللغة بعد تثبيت المتحكّم.
وما يستحق المتابعة هو ما إذا كانت ستظهر بطاقة ARC Prize لميمنتو 3 على الألعاب المحتجزة، وكيف يبدو رقم الكفاءة حين تكون البيئة بيئة لم تُتح لكتاب القواعد فرصة أن يخطئ فيها.
