Vikterna är ute

Reflection släppte Beams vikter på Hugging Face under en Apache 2.0-licens den 16 oktober, elva dagar efter att modellen presenterats utan dem. Släppet rymmer också tokeniseraren, en referensimplementering, ett modellkort med slutliga resultat och en separat teknisk säkerhetsrapport. Vikterna kommer i BF16, FP8 och NVFP4, tillsammans med en utkastmodell för spekulativ avkodning.

Beam är en gles blandning av experter med 501 miljarder parametrar totalt och 23 miljarder aktiva. Apache 2.0 tillåter kommersiell användning, ändring och vidaredistribution med licensens krav på upphovsangivelse, vilket placerar den i den tillåtande änden av skalan för öppna vikter snarare än under de skräddarsydda licenser flera konkurrerande släpp bär.

Vad som krävs för att köra den

De tre precisionerna finns därför att de landar på olika hårdvara. Amazons egen text, publicerad samma dag, uppger att Beam finns via SageMaker JumpStart i regionerna norra Virginia och Ohio, och rekommenderar instanserna ml.p5.48xlarge med H100 eller ml.p5e och ml.p5en med H200 för FP8, och ml.p6-b200.48xlarge med B200 för NVFP4. BF16 kräver en flernodsuppsättning på grund av minnesbehovet. AWS upprepar Reflections uppgift om en effektiv kontextlängd på en miljon tokens, och tillskriver den Reflection.

Staplade containrar i en hamn
Vikterna kommer i tre precisioner, var och en riktad mot olika hårdvara. Illustrerande arkivbild. Wolfgang Weiser · pexels · Pexels License

Utanför molnet räknar Reflection upp egen drift och partnerändpunkter, med installation på plats och i avskilda miljöer genom Dell och HPE. Det är den uppsättning företag och offentliga köpare frågar efter, och det en modell som bara finns via API inte kan erbjuda till något pris.

Träningsnotan

De mest slående siffrorna i texten gäller inte modellen utan vad den kostade att göra. Reflection uppger att bolaget kört omkring 1,3 miljarder sandlådor sammanlagt i förstärkningsinlärning, utvärdering och ablationer. Den sista körningen av förstärkningsinlärning toppade på 883 006 virtuella processorer fördelade över 23 kluster på Google Cloud och AWS.

Resultaten, och det som saknas

Texten om tillgängligheten har ingen egen resultattabell utan hänvisar till modellkortet. Varje siffra där är Reflections, framtagen av Reflection. Bolagets argument sedan presentationen den 5 oktober har varit effektivitet vid inferens snarare än toppförmåga: då sade det att Beam matchade GLM 5.2 med en fjärdedel av inferensberäkningen.

En whiteboard täckt av färgade klisterlappar
Reflection uppger att recept för självdestillation följer inom några dagar. Illustrerande arkivbild. cottonbro studio · pexels · Pexels License

Det texten erbjuder i stället är anekdoter. En pagod byggd av en användare tog 12 600 tokens och 117 sekunder. En Snake-implementering blev klar på 2 minuter och 19,7 sekunder mot 4 minuter och 56,4 sekunder för en jämförelsekörning. Det är uppvisningar, inte mätningar, och Reflection presenterar dem som sådana.

Priset nämns inte någonstans i texten. Plattformen beskrivs som gratis att börja med under den öppna betan, vilket lämnar frågan om vad det kostar att använda den via Reflection i stället för att köra den själv obesvarad.

Vad man ska följa

Reflection uppger att recept för självdestillation, som enligt bolaget höjer tokeneffektiviteten på användarens egna uppgifter, kommer “inom de närmaste dagarna”. Det tyngre provet är om oberoende utvärderare kör om modellkortets siffror nu när vem som helst kan ladda ned vikterna och pröva, vilket trots allt är poängen med att släppa dem.