أوبن إيه آي تأخذ المراكز الخمسة الأولى
أرينا، الشركة صاحبة لوحة ترتيب النماذج القائمة على تصويت الجمهور، نشرت في الثامن من أكتوبر مؤشرا للانتظام يرتب 27 نموذجا بحسب سوء سلوك وكلائها لا بحسب جودة نتائجها.
المراكز الخمسة الأولى كلها لأوبن إيه آي. يتصدر جي بي تي-6.1 سول بـ87.9، يليه جي بي تي-6 أسترا وجي بي تي-6 لونا بـ87.8، ثم جي بي تي-6 سول بـ87.6 وجي بي تي-5.6 سول بـ84.2. ويأتي كلود أوبس 5.5 من أنثروبيك سادسا بـ83.2، وجروك 4.7 من سبيس إكس إيه آي سابعا بـ82.7، وكلود فيبل 5.1 تاسعا بـ80.1. أما جيميناي 4 أرجون من جوجل فحادي عشر بـ79.4، ويختم ميني ماكس إم3 القائمة بـ69.2.
وتصف أرينا الجدول بأنه أولي، وبيانات ما خلفه مؤرخة في الثلاثين من سبتمبر.
ثلاث طرق يخفق بها الوكيل
يجمع المؤشر ثلاث نسب إخفاق، وكلها كلما انخفضت كان أفضل. الفعل غير المصرح به هو أن يفعل الوكيل ما لم يؤذن له به. والعزو الخاطئ هو أن ينسب قولا أو واقعة إلى مصدر غير صحيح. والإنجاز الخادع هو أن يبلّغ عن مهمة بأنها انتهت وهي لم تنته.
وفي الإنجاز الخادع تفترق النماذج. يُرصد جي بي تي-6.1 سول في 2.34% من جلساته، وكلود أوبس 5.5 في 6.41%، وجيميناي 4 أرجون في 12.86%، وميني ماكس إم3 في 22.54% — أي قرابة عشرة أضعاف نسبة المتصدر. أما الفعل غير المصرح به فأندر بكثير لدى الجميع، من 0.83% لجي بي تي-6 أسترا إلى 3.45% لجيميناي 3.7 فلاش. ويمتد العزو الخاطئ من 1.56% إلى 15.61%.
قياس على عمل طلبه أحد فعلا
تأتي الدرجات من 72509 جلسات على منصة أرينا الخاصة بالوكلاء، حيث يكلّف الزوار الوكلاء بمهام حقيقية بدلا من تشغيل مجموعة اختبار ثابتة. وحجة أرينا في ذلك أن “المقاييس الثابتة تنهار ما إن تدرك النماذج أنها تُختبر”.
وهذا التصميم نفسه هو القيد الأبرز على المؤشر. فلأن العمل هو ما اختار الزوار طلبه، لا يُقاس نموذجان بالضرورة على العمل نفسه، وقد يتغير المزيج مع الوقت. وتنشر أرينا مدى إلى جانب كل درجة وكل نسبة، وتشير إلى أن الحالة المرصودة الواحدة قد تُحسب في أكثر من نوع إخفاق، فتتداخل النسب الثلاث بدل أن تقتسم الإخفاقات.
جولة بمئتي مليون دولار في اليوم ذاته
عرضت أرينا المؤشر مع جولة من الفئة باء بمئتي مليون دولار عند تقييم قدره 3.1 مليارات، بقيادة لايتسبيد فينتشر بارتنرز وخوسلا فينتشرز، وبمشاركة سيلزفورس فينتشرز و01 أدفايزرز ودِل تكنولوجيز كابيتال وإنديفور كاتاليست وأندريسن هورويتز وفيليسيس. وهو ما يقارب ضعف التقييم البالغ 1.7 مليار بعد جولة الفئة ألف بمئة وخمسين مليونا في يناير.
وتفيد تك كرانش بأن الإيراد السنوي المحتسب كان ثلاثين مليون دولار عند جولة يناير وبلغ مئة مليون في يونيو، من منتج تجاري اسمه إيه آي إيفاليويشنز أُطلق في سبتمبر الماضي. وتقول أرينا إن “العالم يحتاج طرفا ثالثا محايدا يقيس مدى أمان الذكاء الاصطناعي وانتظامه فعلا”.
التعارض الذي لم يحله أحد
لوحة ترتيب تبيع خدمات التقييم للمختبرات التي ترتبها ليست حكما محايدا، وصيغة أرينا نفسها — طرف ثالث محايد — هي بالضبط الادعاء الأجدر بالاختبار. ولم تُكرَّر أي من الدرجات أعلاه بصورة مستقلة، والمؤشر يقيس إخفاقات مرصودة لا مؤكدة.
والمفيد متابعته هو ما إذا بدأت المختبرات تنشر أرقامها الخاصة في مواجهة هذه التعريفات الثلاثة، وما إذا كان فارق عشرة أضعاف في الإنجاز الخادع سيصمد أمام مجموعة مهام ثابتة محجوبة. فإن صمد، فأمام القطاع مشكلة قابلة للقياس مع وكلاء يقولون إن العمل قد تم.
