En brikke for å kjøre modeller, ikke trene dem
Microsoft offentliggjorde mandag arkitekturen til Azure Maia 300, tredje generasjon av akseleratoren selskapet konstruerer for sine egne datasentre. Hver brikke bærer åtte stabler HBM4-minne på til sammen 288GB med 18TB/s båndbredde, og beregningschipletene produseres i TSMCs N2P-prosess, med minnekontrollerne og inn- og utdata flyttet til egne silisiumbiter.
Målet med konstruksjonen, slik Azures maskinvaresjef Rani Borkar og visepresidenten for systemarkitektur Saurabh Dighe formulerer det i Microsofts egen tekst, er å “maksimere nyttige token per watt og nyttige token per dollar”. Det er en smalere ambisjon enn en generell akselerator setter seg. Maia 300 er bygget for inferens — å kjøre modeller som alt er trent — og Microsoft beskriver et system som er trimmet hele veien for å betjene store språkmodeller, ikke for treningskjøringer.
Hvert tall er målt mot Maia 200
Microsofts sammenligninger går gjennomgående mot Maia 200, inferensbrikken selskapet presenterte i januar. Mot den brikken hevder det 36% mer beregningskapasitet, 2,5 ganger minnebåndbredden, 33% mer minnekapasitet, omtrent dobbel båndbredde per watt og 14% mer skaleringsbåndbredde. På racknivå hevder det opptil sju ganger gjennomstrømningen i token og opptil 2,5 ganger ytelsen per watt.
Dette er produsentens egne tall, stilt mot produsentens egen forrige generasjon. UPI meldte at ingen tredjepart hadde testet Maia 300 mandag. En annen påstand — at brikken skal gi rundt 40% flere token per megawatt enn de ledende GPU-systemene — kom fram i dekningen av lanseringen uten at Microsoft navnga systemene den målte mot.
Racket er enheten
Det mest påfallende i beskrivelsen er skapet. Microsoft plasserer 96 akseleratorer i ett enkelt rack, i 24 brett med fire i hvert, dobbelt så tett som Maia 200, med et uttak på 167kW. Seks svitsjebrikker med høy radiks sitter i tre væskekjølte brett, strømmen kommer inn på en 50-voltsskinne via doble tilførsler, og væskekjølingen fjerner mer enn 80% av varmen i racket. Anlegg uten prosessvann kan kjøre samme rack gjennom en varmeveksler.
Til sammenligning anga Reuters Nvidias GB300-rack til 72 grafikkprosessorer og rundt 142kW. Microsoft ber ett rack svelge mer effekt og mer silisium enn det, som er retningen skapene i hele bransjen har gått i.
Over racket beskriver Microsoft en “superpod” på opptil 12 288 akseleratorer fordelt på opptil 128 rack, med opptil 750GB/s tilgjengelig mot hvilken som helst motpart i poden avhengig av hvor jobben havner. Selskapet byttet også minnetilgangen mellom chiplets fra ensartet til uensartet, og la til forbedrede MXFP4-formater og lagringsformater under tre bit med konvertering i maskinvare — noe som bare er rimelig hvis lasten er inferens i stor skala.
Det som ikke står i teksten
Microsoft oppgav ingen datoer for utrulling. Dekningen av lanseringen sier at brikken går i produksjon i 2027 og da blir det viktigste systemet som kjører KI inne i Microsofts produkter, med utrullinger målt i gigawatt. The Information meldte i august at Microsoft forhandlet med TSMC om mer enn 300 000 Maia 300-brikker for 2027; det er fortsatt en pressemelding om forhandlinger og ingen bekreftet ordre.
Nvidia skyves ikke ut her. Microsofts tekst handler om én del av én arbeidslast, og selskapet fortsetter å kjøpe Nvidia-maskinvare til trening. Neste konkrete holdepunkt er Microsoft Ignite, 17.–20. november i San Francisco, der Borkar og Dighe sier de skal fortelle mer om hvordan brikken passer inn i strategien.
