خمسون مسألة لم ينشرها أحد
بنت مجموعة من الفيزيائيين اختباراً من 50 مسألة في الفيزياء النظرية على مستوى البحث لم تُنشر قط، لكل منها جواب قابل للتحقق، ثم شغّلت عليها خمسة وكلاء ذكاء اصطناعي تجاريين من دون أي تلميح بشري. وقد نُشرت الورقة، TheoPhysEval، على arXiv في التاسع من أكتوبر. ويقول مؤلفوها إن خبيراً عالمياً في التخصص المعني يحل عادة إحدى هذه المسائل في نحو يوم أو أقل، بينما يحتاج خبير من حقل مجاور إلى وقت أطول بكثير.
التصميم هنا أهم من الدرجات. فالمسائل مأخوذة من أعمال المؤلفين غير المنشورة، وهي الطريقة الموثوقة الوحيدة للتأكد من أن النموذج لم يقرأ الجواب سلفاً. وتغطي الفيزياء الكلاسيكية، والعمليات العشوائية والفيزياء الحيوية، والميكانيكا الإحصائية خارج التوازن، ونظريات الشبكة، والأطوار الكمومية للمادة، ونظرية البنية الإلكترونية، ونظرية الحقل الكمومي.
النتائج
شُغّل كل وكيل على مسارين: مسار واقعي مع إمكانية البحث في الأدبيات وكتابة النصوص البرمجية وتشغيلها، ومسار معزول بلا اتصال بالإنترنت. في المسار الواقعي حلّ GPT-6-Astra العامل داخل Codex 49 مسألة من 50. وحلّ Claude Opus 5.5 داخل واجهة Claude Code 46 مسألة. وحلّ Gemini 3.8 Flash داخل Antigravity 34، فيما حلّ النموذجان مفتوحا الأوزان DeepSeek-V4.1-Flash وGLM 5.3 سبعاً وعشرين وإحدى وعشرين على التوالي.
التكاليف لافتة بقدر الدرجات. يقدّر المؤلفون أن جولة Astra الكاملة في المسار الواقعي كلّفت 116.28 دولاراً، أي نحو 2.33 دولار للمسألة، مقابل 240.43 لـ Opus و37.42 لـ DeepSeek. أما جولة GLM فغطّاها اشتراك برمجي بكلفة فعلية بلغت 180 دولاراً للمسارين معاً؛ وبأسعار الواجهة البرمجية كانت ستبلغ 311.71 و371.46.
سحب الأدبيات لم يغيّر شيئاً تقريباً
النتيجة التي يتوقف عندها المؤلفون هي المسار المعزول. فقد حلّ كل من Astra وOpus 46 مسألة من 50 بلا أي اتصال بالإنترنت — بفارق ثلاث مسائل لـ Astra، وبالعدد نفسه تماماً لـ Opus. وحصل Gemini على 31 وGLM على 26 وDeepSeek على 25. وكثير من هذه المسائل يتطلب صيغاً ورموزاً بعينها من أوراق بعينها، ويكتب المؤلفون أن إنساناً لا يستطيع حتى الشروع في بعضها من دون العودة إلى الورقة المرجعية. وقدرة النماذج على ذلك تشير، بحسب نص الورقة، إلى حفظ واسع لأدبيات البحث في الفيزياء.
أما المسألة الوحيدة التي أخطأ فيها Astra في المسار الواقعي فكانت مسألة عكسية — استخراج معادلة تفاضلية من منحنى معطى — ولم يحلّها أي نموذج. وكل ما أصابه أي وكيل آخر كان مجموعة جزئية مما أصابه Astra.
ما ينبّه إليه المؤلفون أنفسهم
ثمة تحفظان من داخل الورقة. فكل وكيل شُغّل مرة واحدة في كل مسار، ما يجعل الفارق بين المسار الواقعي والمعزول ضمن حدود عدم اليقين الإحصائي للتقييم. كما احتسب المؤلفون في البداية أخطاءً لـ Astra في عدة مسائل، قبل أن يكتشفوا أن حلولهم المرجعية نفسها تحوي أخطاءً دقيقة؛ وبعد تصحيح الخبراء لها تبيّن أن إجابات Astra صحيحة في كل مرة.
نسب النجاح هنا أعلى مما تبلغ عنه اختبارات أخرى في الفيزياء النظرية، وهو ما يسجله المؤلفون ويرون أنه يستحق تفسيراً: فهم يرون مسائلهم أكثر تقدماً عند الفحص، ويحيلون إلى أعمال حديثة تشير إلى أن بعض اختبارات الفيزياء تُصحَّح على نحو خاطئ. ومجموعة البيانات منشورة، فالفارق قابل للتدقيق لا مسألة ثقة.
