Googles chips forlader Googles bygninger

Google Cloud og Oracle meddelte den 27. oktober, at Googles tensorprocessorer skal installeres i Oracle Cloud Infrastructure, hvilket gør OCI til, med indlæggets ord, “den første hyperskalerer uden for Google, der tilbyder TPU’er”. Udrulningen af TPU-kapacitet på OCI begynder i kalenderåret 2027.

Indlægget er underskrevet af Karan Batta, senior vicepræsident i Oracle Cloud Infrastructure, og Gurmeet Goindi, seniordirektør for produktledelse hos Google. Det indeholder ingen direkte citater og ingen kommercielle vilkår. Det siger ikke, hvilken TPU-generation Oracle skal køre, hvor mange chips, i hvilke regioner, til hvilken pris, eller hvad aftalen er værd for nogen af parterne.

Hvad hver side bidrager med

Arbejdsdelingen kan læses ud af de fordele, indlægget opregner, snarere end af en udtrykkelig udmelding. Google bidrager med TPU-systemerne — samdesignet silicium, optiske net, væskekøling og oversætterprogrammel — sammen med TorchTPU, selskabets PyTorch-native stak til TPU’er, der nu er udgivet som open source på GitHub med understøttelse af vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face og LiteRT.

Oracle bidrager med bygningerne, strømmen og kølingen, beskrevet som AI-tætte datacentre bygget til direkte væskekøling i rackskala, og med netværket, der binder TPU-kapaciteten sammen med alt andet i OCI. Det netværk er Oracle Acceleron: et SmartNIC med lejerisolering på hardwareniveau, et højtydende væv og pakkerouting efter nultillid. Trafikken mellem TPU’er bliver på Googles egen sammenkobling og optiske kredsløbskobling; Acceleron tager sig af trafikken mellem TPU-klyngerne og Oracles databaser og lagring.

Isolatorer og koblingsanlæg ved en transformerstation mod en blå himmel
Udrulningen af TPU-kapacitet på OCI begynder i 2027. Illustrationsbillede. Phil Evenden · pexels · Pexels License

Tallene, der rent faktisk står i indlægget

Ydelsestallene er mere historietime end specifikation. Indlægget noterer, at den første TPU leverede 92 teraflops og tredive gange gennemstrømningen per watt sammenlignet med samtidens processorer, og at ottende generation når op til 12,6 petaflops nativ FP4-regnekraft per chip — over hundrede gange TPU v1 — med op til dobbelt så høj ydelse per watt som forrige generation. Det anfører over 97 procent nyttig gennemstrømning over tusindvis af chips ved store træningskørsler, op til 80 procent bedre ydelse per dollar for servering med lav forsinkelse i nyeste generation, og en sammenkoblingstopologi, der mere end halverer antallet af netværkshop.

Ingen af disse tal er knyttet til den hardware, Oracle faktisk skal installere, fordi indlægget aldrig nævner den. Ottende generation beskrives som Googles nyeste, ikke som den, der skal til OCI.

Oracle samler på acceleratorer

TPU-aftalen er én blandt flere. SiliconANGLE skrev, at Oracle også agter at installere Cerebras’ waferstore acceleratorer og OpenAIs inferensprocessor Jalapeño, og tilskriver planerne CNBC, samtidig med at det noterer, at ingen af dem er bekræftet som endelige. Oracles argument er, at kunderne kan vælge arkitektur uden at forlade den sky, hvor deres virksomhedsdata allerede ligger: finjustering og inferens ved siden af Oracles databaser i stedet for en overførsel mellem skyer.

Løse netværkskabler, der hænger bag serverracks i et blåoplyst rum
Oracle Acceleron forbinder TPU-klyngerne med resten af OCI. Illustrationsbillede. panumas nikhomkhai · pexels · Pexels License

Hvad man bør følge

Det første, man skal lede efter, er en generation og et antal. En flerårig aftale, der begynder i 2027, har mere end et år til at skaffe begge, og indtil da er aftalens kommercielle form umulig at læse udefra. Det andet er, om TorchTPU som open source faktisk lader hold flytte arbejdsbyrder mellem acceleratorer uden at omskrive modelkoden, hvilket er det portabilitetsargument, hele meddelelsen hviler på, og som først kan prøves, når TPU’er på OCI er tilgængelige.