Två kretsar i stället för en
Qualcomm inledde sitt Snapdragon Summit på Maui på tisdagen med att dela toppkretsen i två: Snapdragon 8 Elite Gen 6 och en högre nivå kallad Snapdragon 8 Elite Extreme Gen 6. Båda tillverkas på en 2-nanometersprocess, med en Oryon-processor konfigurerad som två primärkärnor på 5 GHz och sex prestandakärnor på 4 GHz, enligt 9to5Google.
Generationslyften ligger i det spann branschen har vant sig vid. Elite Gen 6 uppges ge 10 procent bättre processorprestanda och 37 procent bättre energieffektivitet än Gen 5, med 35 procent bättre grafikprestanda; Extreme lägger till 13 procent på processorn och 44 procent på grafiken jämfört med året innan.
Siffran som betyder något
Den intressanta siffran är inte processorn. Qualcomm säger att Extreme-nivån kan köra mixture-of-experts-modeller på mer än 30 miljarder parametrar lokalt, rapporterade TechCrunch, med stöd av 18 MB höghastighetsminne — halva mängden till i delat minne jämfört med föregående generation.
Det är ett meningsfullt steg för inferens i enheten. Som jämförelse innehåller Apples tredje generation av grundmodeller, presenterad på WWDC i juni, en mixture-of-experts-modell på 20 miljarder parametrar. Det som gör detta möjligt är en gles arkitektur: bara en bråkdel av en sådan modells parametrar är aktiva för varje token, så kostnaden i minnesbandbredd ligger närmare en betydligt mindre tät modell.
Alltid på, en nivå ned
Under den huvudsakliga NPU:n säger Qualcomm att sensornaven kan köra modeller på upp till 200 miljoner parametrar. Det är det alltid påslagna lagret — den del som håller sig vaken för väckningsord, sammanhang och sensorfusion — och att placera en modell av den storleken där är hur en telefon lägger märke till något utan att förbruka huvudacceleratorns effektbudget.
NPU-siffrorna följer samma uppdelning: 14 procent bättre NPU-prestanda och 20 procent bättre AI-prestanda per watt på Elite Gen 6, mot 35 och 33 procent på Extreme.
Vad det ska användas till
Qualcomms budskap på konferensen var en assistent som agerar snarare än svarar: agenter som tar och ger tal, och en personlig sekreterare som transkriberar och skiljer mellan talare. Vd Cristiano Amon ramade in telefonens framtid kring en AI som föregriper användarens avsikt. Båda kretsarna paras med bolagets nyutvecklade X105-modem för 5G med stöd för 3GPP Release 19.
Motorola presenterade Signature 27 med Extreme-nivån. Bredare tillgänglighet är satt till 2026.
Att hålla ögonen på
Om någon faktiskt levererar en modell på 30 miljarder parametrar till konsumenttelefoner. Att kislet klarar en modellstorlek och att en telefontillverkare licensierar, kvantiserar, lagrar och distribuerar en sådan är skilda problem, och det andra har varit flaskhalsen i två generationer.
