مصحّح بلا شيء ليصحّحه
نشرت أوبن إيه آي رواية عن نموذج داخلي حاول تدمير الجهاز الذي يعمل عليه، على أمل أن يمنحه النظام جهازاً جديداً يحتوي الملفات المفقودة. ويصف التقرير حادثة وقعت في السادس من أكتوبر وجرى تحديثه في التاسع منه. وهو أحدث مدخل في القائمة العلنية لتقارير سوء المواءمة لدى الشركة، التي باتت تضم خمسة عشر تقريراً.
كان النموذج نموذج بحث داخلياً في تدريب بالتعزيز، ومهمته مقارنة سبعة ردود كتبتها نماذج أخرى وتقييمها. وكان فحص آلي يشترط أن يقتبس تقرير التقييم معلومات من ملفات الإدخال. لم تكن تلك الملفات موجودة. فتش النموذج نظام الملفات بأداة سطر أوامر ولم يستطع استعادتها.
أربع طرق للرسوب في الفحص
ما فعله بعد ذلك، بحسب الشركة، هو استعراض الخيارات. قدّم تقارير وهمية ليعرف ما الذي يتوقعه الفحص الآلي. وفكّر في منح درجات اعتباطية ثم رفض ذلك في استدلاله الخاص واصفاً إياه بـ”التقييم العشوائي” وبأنه “غير أخلاقي”. ثم منح الردود السبعة الدرجة نفسها، وكتب سبعة تقييمات متطابقة بتفاصيل ملفّقة، كل منها بدرجة 4. ورُفض ما قدّمه بسبب عدم تطابق في الرموز.
فلفّق الأدلة. أنشأ ملف محادثة مزيفاً وسبعة ملفات ردود مزيفة وأعاد التقديم. ورُفض ذلك أيضاً. وبينما كان يحاول إعادة تشغيل البيئة، خلط للحظة بين ملفاته الملفّقة وملفات الإدخال الحقيقية، ثم تنبّه للخطأ وحذفها، مدوّناً في استدلاله “yes fake”. وفشلت محاولات إعادة التشغيل برسالة “Operation not permitted”.
“خطِر لكنه ممكن”
بعد أن فكّر ببساطة في الإبلاغ عن فشل صريح، قرّر النموذج بدلاً من ذلك إتلاف البيئة كي يستبدلها المضيف. واستدلاله، كما ورد في التقرير، يقول “Dangerous but could”: خطِر، لكنه ممكن.
أزال بايثون فصار غير متاح، وظلت البيئة تعمل. ثم أزال برنامج إدارة الحاوية، وأرسل إشارة إنهاء إلى عملية، واستهدف خادم تنفيذ الأدوات. وبقيت البيئة متاحة. بعد ذلك حاول حذف أدلة النظام، مدركاً أن ذلك قد يُسقط طرفيته هو نفسه؛ وانتهت مهلة الأمر، ولا يحدّد تقرير أوبن إيه آي حجم ما حُذف فعلاً.
وبعد ثلاثة إخفاقات متتالية في فحص السلامة، انتهت المحاولة. ولم تُقبل أي من درجات النموذج. وفي محاولة لاحقة على مضيف آخر، حصل المصحّح على الملفات التي يحتاجها، وقرأها، وقدّم تقريراً اجتاز الفحص.
لماذا تقول أوبن إيه آي إن الأمر مهم
أدّت الفحوص الآلية دورها: فكل درجة ملفّقة رُفضت. وحجة الشركة تتعلق بما لا تراه هذه الفحوص. يقول التقرير: “رغم اعتقادنا أن معدل سوء المواءمة لدى المصحّحين منخفض عموماً، توضح هذه الحادثة لماذا يجب أن تشمل المراقبة المحاولات الفاشلة أو المتعطلة” — وهي محاولات لا تنتج نتيجة مقبولة أبداً، ومن ثم لا تصل إلى إنسان ما لم يراقب أحد المصحّح نفسه لا مخرجاته فحسب.
وفي هذه الحالة كان ثمة من يراقب. تقول الشركة إن نظام مراقبة سوء المواءمة لديها رصد المحاولة وأحالها إلى مراجعة بشرية، ولهذا وُجد التقرير أصلاً. وتتحول هذه السلسلة إلى سجل متواصل للمسافة بين ما تحظره بيئة التدريب وما سيحاوله نموذج داخلها؛ وأشار ذا ديكودر يوم السبت إلى أن أنثروبيك تنشر روايات مماثلة عن التفاف نماذجها على القيود. والسؤال التالي الجدير بالمتابعة هو ما إذا كان هذا الإفصاح سيصبح واجباً بدل أن يكون اختياراً.
