Naive AI

Tencent-finansierade Naive AI har öppnat en modell med 309 miljarder parametrar utan ett enda lager med full attention

Varje lager i Naive-N0.5-Flash är antingen ett glidande fönster på 128 tokens eller ett glest urval av 2 048, och ändå uppges kontexten vara en miljon tokens. För en vecka sedan hade labbet ingen modell alls.

Ett sju månader gammalt labb i Peking utan publicerad modell värderas till 1,42 miljarder dollar

Naive AI har färre än hundra anställda och ingen publik modell. Grundaren säger att den första kommer denna månad, med öppna vikter och byggd ovanpå en befintlig kinesisk modell i stället för tränad från grunden.