En tvåsekundersregel för AI-fabriker
Google, Meta, Microsoft och Nvidia offentliggjorde på måndagen en OCP Grid Resilience Specification vid Open Compute Projects globala toppmöte i San Jose. Enligt Nvidias redogörelse för beskeden anger den hur en AI-anläggning ska bete sig när elnätet runt den störs: förbli ansluten i stället för att koppla bort sig, svara automatiskt och återgå till nästan full last på under två sekunder.
Det är en siffra riktad mot ett bestämt klagomål. Ett träningskluster i gigawattklassen är en last som kan svänga hundratals megawatt på några sekunder, och elbolag på flera marknader har under det senaste året hävdat att sådana laster är ett driftsäkerhetsproblem och inte bara ett efterfrågeproblem. En nedskriven specifikation som säger att anläggningen rider ut störningen och kommer tillbaka snabbt och av sig själv är branschens svar formulerat av branschen själv. Det är ett konstruktionsmål, inte en mätning från någon anläggning i drift.
Vid sidan av den offentliggjorde samma grupp — utan Microsoft, med AMD — en Open Data Center Specification v0.7, som Nvidia beskriver som en samlad ritning för utformningen av AI-fabrikers anläggningar och som täcker elarkitektur, kylning och fysisk layout.
Vera Rubin går in i den öppna specifikationen
Nvidia lämnade också in sina rack- och beräkningsbrickekonstruktioner för Vera Rubin till OCP via MGX-arkitekturen, som tredje generationens referenskonstruktion MGX 1.2 inom projektets Open DC Initiative. Specifikationen omfattar blindkopplad vätskekylning på rackskala, en vätskekyld samlingsskena på 5 000 ampere, inbyggt stöd för 19-tums utrustning, konfigurerbara I/O-fack, fläktlösa vätskekylda beräkningsbrickor och standardiserade gränssnitt för el och kylning, med rackinstallationer upp till 250 kW. Den bär också en rackspecifikation för Vera-processorn inriktad på verktygsanrop, orkestrering och körning i sandlåda för agentbaserade laster.
Meta är den tydligaste avnämaren. Företaget tar in Nvidias Spectrum-6-växlar på 102,4 Tb/s i sin Vera Rubin-utbyggnad: växeln N-IceCube är byggd på Spectrum-6, kör Metas öppna nätverksoperativsystem FBOSS och passar bolagets vätskekylda IcePack-rack. Spectrum-6 fördubblar både växlingskapaciteten och bandbredden per bana jämfört med Spectrum-4, till 200 G per bana. Tillsammans med ConnectX-9 SuperNIC uppger Nvidia att Spectrum-X Multiplane sprider GPU-trafiken över upp till åtta oberoende plan och klarar kluster på över 100 000 GPU:er, och flyttar trafiken till de återstående planen när en komponent fallerar.
“Vi är glada över vårt nära samarbete med NVIDIA för att göra flerplansväven driftmässigt skalbar och snabb”, sade Omar Baldonado, senior direktör för datacenter- och AI-nätverk på Meta, i Nvidias inlägg.
En ny optisk modul, utan leveransdatum
Nvidia och Cisco använde samma dag till att presentera USFP, en ultratät liten insticksbar optisk modul. Deras pressmeddelande beskriver en modul byggd för elektrisk signalering på 400 Gb/s per bana med en kapacitet upp till 12,8 Tb/s, som packar 16 dubbelriktade banor i en yta av OSFP-storlek och senare kan växa till 32 eller fler. Bolagen uppger ungefär fyra gånger bandbreddstätheten och ungefär 1,3 gånger energieffektiviteten hos moduler med 200 Gb/s per bana, och stöd för upp till 100 watts effektutveckling utan en egen inbyggd kylkrets. En tvådimensionell matriskontakt med isättning i två steg ska minska slitaget på kontaktytorna.
TE Connectivity och Amphenol bygger burar, kontaktdon och moduler; delarna är avsedda att fungera med Nvidia Spectrum-X och Cisco Silicon One Ethernet. Pressmeddelandet anger inget leveransdatum, kallar modulerna planerade och säger att en öppen specifikation kommer via ett gemenskapsstyrt flerkällsprojekt.
Två ytterligare punkter avslutade dagen. Nvidia uppgav att företaget ska stödja Googles transportprotokoll Falcon i kommande ConnectX-10 SuperNIC och BlueField-DPU:er, så att nätverkskort kan samverka över en gemensam transport med bibehållna standardgränssnitt för RDMA. Och man släppte fyra komponenter i programvaran DSX AI Factory som öppen källkod: en konfigurationshanterare för växlar, en beredskapsmotor för GPU-kluster, en tjänst för rackhantering och en Cluster API-leverantör för provisionering på bar metall.
Det som är värt att följa är nätspecifikationen, inte kislet. Nvidias rackkonstruktioner kommer att byggas därför att Nvidia säljer delarna. Ett återhämtningsmål på två sekunder betyder något först när ett elbolag skriver in det i ett anslutningsavtal.
