Xiaomi

«نيف إيه آي» المدعوم من تنسنت يفتح نموذجاً بـ309 مليارات معامل بلا طبقة انتباه كاملة واحدة

كلّ طبقة في Naive-N0.5-Flash إمّا نافذة منزلقة من 128 رمزاً أو اختيار متناثر لـ2048 رمزاً، ومع ذلك يعلن المختبر سياقاً أصلياً من مليون رمز. قبل أسبوع لم يكن لديه نموذج إطلاقاً.

نموذج MiMo-V2.6-Pro من شاومي يتصدّر النماذج مفتوحة الأوزان في مؤشر مستقل، برخصة MIT

طرحت الشركة المصنّعة للهواتف نموذج مزيج خبراء بتريليون معامل، مع أوزانه وشيفرة التعلّم المعزّز الخاصة به وحسابًا جاريًا لتكلفة التدريب.