Vektene er ute
Reflection slapp Beams vekter på Hugging Face under en Apache 2.0-lisens 16. oktober, elleve dager etter at modellen ble presentert uten dem. Slippet rommer også tokeniseringsverktøyet, en referanseimplementering, et modellkort med endelige resultater og en egen teknisk sikkerhetsrapport. Vektene kommer i BF16, FP8 og NVFP4, sammen med en utkastmodell for spekulativ dekoding.
Beam er en tynn blanding av eksperter med 501 milliarder parametere totalt og 23 milliarder aktive. Apache 2.0 tillater kommersiell bruk, endring og videredistribusjon med lisensens krav om angivelse, noe som plasserer den i den tillatende enden av skalaen for åpne vekter, og ikke under de skreddersydde lisensene flere konkurrerende slipp bærer.
Hva som skal til for å kjøre den
De tre presisjonene finnes fordi de treffer ulik maskinvare. Amazons egen tekst, publisert samme dag, opplyser at Beam er tilgjengelig via SageMaker JumpStart i regionene Nord-Virginia og Ohio, og anbefaler instansene ml.p5.48xlarge med H100, eller ml.p5e og ml.p5en med H200, for FP8, og ml.p6-b200.48xlarge med B200 for NVFP4. BF16 krever et oppsett over flere noder på grunn av minnebehovet. AWS gjentar Reflections tall om en effektiv kontekstlengde på én million tokener, og tilskriver det Reflection.
Utenfor skyen lister Reflection opp egen drift og partnerendepunkter, med installasjon lokalt og i lukkede nett gjennom Dell og HPE. Det er oppsettet bedrifts- og offentlige kjøpere ber om, og det en modell som bare finnes via API ikke kan tilby til noen pris.
Treningsregningen
De mest slående tallene i teksten gjelder ikke modellen, men hva den kostet å lage. Reflection opplyser at selskapet kjørte om lag 1,3 milliarder sandkasser til sammen i forsterkende læring, evaluering og ablasjoner. Den siste kjøringen av forsterkende læring toppet seg på 883 006 virtuelle prosessorer fordelt på 23 klynger hos Google Cloud og AWS.
Resultatene, og det som mangler
Teksten om tilgjengeligheten har ingen egen resultattabell og viser til modellkortet. Hvert tall der er Reflections, laget av Reflection. Selskapets argument siden presentasjonen 5. oktober har vært effektivitet ved kjøring framfor topp ytelse: det sa da at Beam var på høyde med GLM 5.2 med en fjerdedel av regnekraften ved kjøring.
Det teksten tilbyr i stedet, er anekdoter. En pagode bygget av en bruker tok 12 600 tokener og 117 sekunder. En Snake-implementering ble ferdig på 2 minutter og 19,7 sekunder mot 4 minutter og 56,4 sekunder for en sammenligningskjøring. Det er framvisninger, ikke målinger, og Reflection framstiller dem slik.
Prisen nevnes ingen steder i teksten. Plattformen beskrives som gratis å begynne med under den åpne betaen, noe som lar spørsmålet om hva det koster å bruke den via Reflection framfor å kjøre den selv stå åpent.
Hva man bør følge
Reflection opplyser at oppskrifter for selvdestillasjon, som ifølge selskapet øker tokeneffektiviteten på brukerens egne oppgaver, kommer “i løpet av de nærmeste dagene”. Den tyngre prøven er om uavhengige evaluatorer kjører om tallene i modellkortet nå som hvem som helst kan laste ned vektene og prøve, noe som tross alt er poenget med å slippe dem.
