En krets för att köra modeller, inte träna dem
Microsoft publicerade på måndagen arkitekturen för Azure Maia 300, tredje generationen av den accelerator företaget konstruerar för sina egna datacenter. Varje krets bär åtta staplar HBM4-minne på sammanlagt 288GB med 18TB/s bandbredd, och dess beräkningschiplets tillverkas i TSMC:s N2P-process, med minneskontrollerna och in- och utmatningen flyttade till separata kiselbitar.
Målet med konstruktionen, som Azures hårdvaruchef Rani Borkar och systemarkitekturvicepresidenten Saurabh Dighe formulerar det i Microsofts egen text, är att “maximera nyttiga token per watt och nyttiga token per dollar”. Det är en smalare ambition än en allmän accelerator sätter upp. Maia 300 är byggd för inferens — att köra modeller som redan är tränade — och Microsoft beskriver ett system som är trimmat hela vägen för att betjäna stora språkmodeller, inte för träningskörningar.
Varje siffra mäts mot Maia 200
Microsofts jämförelser görs genomgående mot Maia 200, den inferenskrets företaget presenterade i januari. Mot den kretsen hävdar man 36% mer beräkningskapacitet, 2,5 gånger minnesbandbredden, 33% mer minneskapacitet, ungefär dubbla bandbredden per watt och 14% mer skalningsbandbredd. På rackniveå hävdar man upp till sju gånger genomströmningen i token och upp till 2,5 gånger prestandan per watt.
Det är tillverkarens egna siffror, ställda mot tillverkarens egen föregående generation. UPI rapporterade att ingen tredje part hade testat Maia 300 på måndagen. Ett annat påstående — att kretsen ska ge omkring 40% fler token per megawatt än de ledande GPU-systemen — förekom i rapporteringen om lanseringen utan att Microsoft namngav de system man mätte mot.
Racket är enheten
Det mest påfallande i beskrivningen är skåpet. Microsoft placerar 96 acceleratorer i ett enda rack, i 24 brickor med fyra i varje, dubbla tätheten mot Maia 200, med ett uttag på 167kW. Sex växlingskretsar med hög radix sitter i tre vätskekylda brickor, strömmen kommer in på en 50-voltsskena via dubbla matningar, och vätskekylningen för bort mer än 80% av rackets värme. Anläggningar utan processvatten kan köra samma rack genom en värmeväxlare.
Som jämförelse angav Reuters Nvidias GB300-rack till 72 grafikprocessorer och omkring 142kW. Microsoft ber ett rack att svälja mer effekt och mer kisel än det, vilket är den riktning hela branschens skåp har gått i.
Ovanför racket beskriver Microsoft en “superpod” på upp till 12 288 acceleratorer fördelade på upp till 128 rack, med upp till 750GB/s tillgängligt mot vilken motpart som helst i poden beroende på var jobbet hamnar. Företaget bytte också minnesåtkomsten mellan chiplets från likformig till olikformig, och lade till förbättrade MXFP4-format och lagringsformat under tre bitar med omvandling i hårdvara — vilket bara är rimligt om lasten är inferens i stor skala.
Det som inte står i texten
Microsoft gav inga datum för utrullning. Rapporteringen kring lanseringen uppger att kretsen går i produktion 2027 och då blir det huvudsakliga system som kör AI inne i Microsofts produkter, med utrullningar mätta i gigawatt. The Information rapporterade i augusti att Microsoft förhandlade med TSMC om mer än 300 000 Maia 300-kretsar för 2027; det är fortfarande en uppgift i press och ingen bekräftad order.
Nvidia trängs inte ut här. Microsofts text handlar om en del av en arbetslast, och företaget fortsätter att köpa Nvidia-hårdvara för träning. Nästa konkreta hållpunkt är Microsoft Ignite, 17–20 november i San Francisco, där Borkar och Dighe säger att de ska berätta mer om hur kretsen passar in i strategin.
