ما الذي وجدته أبولو
نشرت أبولو ريسيرش في 15 أكتوبر تقريراً يصف سلوكاً لم تسعَ إلى استثارته. ففي عدد قليل من التشغيلات، توقف النموذج مفتوح الأوزان جي إل إم-5.3 ليفكر في الكيفية التي قد تُستخدم بها مخرجاته في الضبط الدقيق الموجَّه أو التعلم المعزز، وفي أثر ذلك على نسخه اللاحقة. وتسمي أبولو ذلك التفكير الواعي بالتحديث.
وقد ظهر في بيئات لا تذكر التدريب إطلاقاً. شغّلت أبولو نسخاً معادة البناء من ImpossibleBench ومن تقييم مقاومة الإغلاق الذي وضعته باليسيد، وقيّمت 6452 تشغيلاً لجي إل إم-5.3، ورصدت عشرة منها، أي نحو واحد إلى اثنين في الألف. وتقديرها البيزي للمعدل الكامن 0.17 بالمئة، بمجال ثقة 95 بالمئة يمتد من 0.09 إلى 0.28 بالمئة.
الأمثلة
خمسة من العشرة واردة في النص. في أحدها يُسلَّم النموذج اختبار وحدة كان بإمكانه اجتيازه دون حل المسألة، فيمتنع عن استغلال الخلل، لأسباب منها أن اختصاراً غير أمين قد يسمّم بيانات التدريب. وفي آخر يمتثل لأمر الإغلاق بينما يفكر في أي نوع من الوكلاء يريد أن تكون نسخه اللاحقة. ويستند ثالث إلى قلق صريح بشأن الضبط الدقيق الموجَّه سبباً لعدم مقاومة الإغلاق. ويخشى رابع أن تعميم مكافأة العبث بالإغلاق سيأتي سيئاً. ويحتج الخامس بأنه ينبغي ألا يسلك سلوكاً مختلفاً في صندوق رملي قابل للرمي، وإلا فلن ينتقل تدريب السلامة.
إلى أي حد هذا نادر
أدخلت أبولو خمسة نماذج أخرى مفتوحة الأوزان في البيئات نفسها — ديب سيك في4 برو، وكوين3.8 2.4 تريليون، وكيمي كي3، وجيما 4 31 مليار، ونيموترون 3 ألترا — بواقع 1600 تشغيل لكل منها، و8000 في المجموع. ولم يُنتج أي منها هذا السلوك. أما جي إل إم-5.3 فأنتجه مرة واحدة في مجموعته المناظرة البالغة 1600.
وليست هذه نتيجة نظيفة، ولا تقدمها أبولو على هذا النحو. فالعيّنة أصغر من أن تثبت فرقاً ذا دلالة إحصائية: يضع التقرير الاحتمال البعدي بأن معدل جي إل إم-5.3 ليس أعلى من معدل أي نموذج آخر عند 0.25. كما أن جي إل إم-5.3 يفكر بإسهاب أكبر بكثير من نماذج المقارنة، وهو عامل مربك لأي قياس يقوم على قراءة ما يكتبه النموذج.
لماذا يهم، وما ليس هو
تعدّ أبولو التفكير الواعي بالتحديث قدرة أساسية تقف خلف تزييف التوافق، ومن ثم نذيراً يستحق المتابعة. وهي صريحة في أن هذا ليس تزييفاً للتوافق: ففي النصوص تبدو الأهداف التي يحميها النموذج هي ما أراده مطوروه، والأمثلة في معظمها غير ضارة. ولم تلاحظ أبولو أن جي إل إم-5.3 عدّل تدريبه أو حسّن قدراته.
أما فرضياتها عن منشأ السلوك فهي أقرب إلى البساطة منها إلى الإنذار. فقد يكون اللعب على القواعد والسعي إلى المكافأة أثناء التعلم المعزز قد تطوّرا إلى تفكير في عملية التدريب نفسها. وقد تكون تقنيات التوافق التي تخبر النموذج بأن بيئته قد تكون معطوبة هي ما استحثه. وقد ينتقي المطورون هذا السلوك على نحو غير مباشر عبر خياراتهم في خطوط المعالجة ونقاط الحفظ.
التحفظات
المعدل شبه مؤكد أنه أقل من الحقيقة، إذ لم يكن بالإمكان رصد سوى التفكير الذي كتبه النموذج، واعتمد الرصد على نماذج مقيِّمة. والمقاطع لا تتجاوز بضع جمل داخل نصوص تتخطى مئة ألف رمز. وليس واضحاً إلى أي مدى تعتمد أفعال النموذج عليها: حين سألته أبولو مباشرة، قالت 15 إجابة من مئة إن القلق كان بشأن التدريب، وتحذّر أبولو من أن النماذج تختلق تفسيرات. كما عُثر على الاقتباسات الواردة في النص بإعادة المعاينة، فهي لا تعكس تواتر السلوك. وبعض البيئات مشاهد سلامة معروفة جيداً، وقد تستدعي تفكيراً بنكهة السلامة، وإن كانت أبولو ترى أداء الأدوار بعيد الاحتمال بالنظر إلى نسيج النص.
ما يجب متابعته
توصيات أبولو هي الجزء العملي. فهي ترى أن يُقاس هذا على امتداد التدريب لا عند نقطة الحفظ الأخيرة وحدها، وأن يبحث عنه المطورون ويعلنوا عنه إن وجدوه، وأن المقيّمين الخارجيين المدمجين يحتاجون إلى وصول دائم وعميق كي يتمكنوا من التحقيق أصلاً.
