En chip til at køre modeller, ikke til at træne dem
Microsoft offentliggjorde mandag arkitekturen bag Azure Maia 300, tredje generation af den accelerator virksomheden konstruerer til sine egne datacentre. Hver chip bærer otte stakke HBM4-hukommelse på i alt 288GB med 18TB/s båndbredde, og dens beregningschiplets fremstilles i TSMC’s N2P-proces, mens hukommelsesstyringen og ind- og udgangene er flyttet til separate siliciumstykker.
Målet med konstruktionen, som Azures hardwarechef Rani Borkar og vicepræsidenten for systemarkitektur Saurabh Dighe formulerer det i Microsofts egen tekst, er at “maksimere nyttige tokens per watt og nyttige tokens per dollar”. Det er en smallere ambition end en generel accelerator sætter sig. Maia 300 er bygget til inferens — at køre modeller der allerede er trænet — og Microsoft beskriver et system der er trimmet hele vejen til at betjene store sprogmodeller, ikke til træningskørsler.
Hvert tal er målt mod Maia 200
Microsofts sammenligninger går konsekvent mod Maia 200, den inferenschip virksomheden præsenterede i januar. Mod den chip hævder den 36% mere beregningskraft, 2,5 gange hukommelsesbåndbredden, 33% mere kapacitet, omtrent dobbelt båndbredde per watt og 14% mere skaleringsbåndbredde. På rackniveau hævder den op til syv gange gennemstrømningen i tokens og op til 2,5 gange ydelsen per watt.
Det er producentens egne tal, stillet op mod producentens egen forrige generation. UPI skrev at ingen tredjepart havde testet Maia 300 mandag. En anden påstand — at chippen skal give omkring 40% flere tokens per megawatt end de førende GPU-systemer — optrådte i dækningen af lanceringen uden at Microsoft navngav de systemer den målte mod.
Racket er enheden
Det mest bemærkelsesværdige i beskrivelsen er skabet. Microsoft placerer 96 acceleratorer i ét enkelt rack, i 24 bakker med fire i hver, dobbelt så tæt som Maia 200, med et forbrug på 167kW. Seks switchchips med høj radiks sidder i tre væskekølede bakker, strømmen kommer ind på en 50-voltsskinne via dobbelte forsyninger, og væskekølingen fjerner mere end 80% af varmen i racket. Anlæg uden procesvand kan køre samme rack gennem en varmeveksler.
Til sammenligning angav Reuters Nvidias GB300-rack til 72 grafikprocessorer og omkring 142kW. Microsoft beder ét rack om at sluge mere effekt og mere silicium end det, hvilket er den retning skabene i hele branchen har bevæget sig.
Over racket beskriver Microsoft en “superpod” på op til 12.288 acceleratorer fordelt på op til 128 racks, med op til 750GB/s til rådighed mod enhver modpart i poden afhængigt af hvor jobbet lander. Virksomheden skiftede også hukommelsesadgangen mellem chiplets fra ensartet til uensartet, og tilføjede forbedrede MXFP4-formater og lagringsformater under tre bit med konvertering i hardware — noget der kun er rimeligt hvis belastningen er inferens i stor skala.
Det der ikke står i teksten
Microsoft gav ingen datoer for udrulning. Dækningen af lanceringen siger at chippen går i produktion i 2027 og derefter bliver det primære system der kører AI inde i Microsofts produkter, med udrulninger målt i gigawatt. The Information skrev i august at Microsoft forhandlede med TSMC om mere end 300.000 Maia 300-chips til 2027; det er stadig en avisoplysning og ingen bekræftet ordre.
Nvidia skubbes ikke ud her. Microsofts tekst handler om én del af én arbejdsbelastning, og virksomheden køber fortsat Nvidia-hardware til træning. Næste konkrete holdepunkt er Microsoft Ignite, 17.-20. november i San Francisco, hvor Borkar og Dighe siger at de vil fortælle mere om hvordan chippen passer ind i strategien.
