Att flytta minnet centimeter i stället för millimeter
Volantis, ett chipbolag i San Francisco grundat 2022, meddelade den 1 oktober en serie A-runda på 88 miljoner dollar och beskrev sedan vad det tänker bygga för pengarna. Den planerade acceleratorn A-1 ersätter mycket av den elektriska ledningsdragningen mellan beräkning och minne med ljus, via optiska vågledare och mikro-VCSEL-lasrar inbyggda direkt i den interposer som chippen sitter på.
Problemet bolaget siktar på är minnesväggen. SRAM på chippet har enorm bandbredd och nästan ingen kapacitet. Höghastighetsminne staplat bredvid en GPU har långt mer kapacitet men stöter på en gräns för hur mycket data som kan passera kanten på kretsen — det branschen kallar strandlinjen. Volantis argument är att optik tar bort avståndsbegränsningen: minnet kan sitta centimeter från beräkningen i stället för millimeter och ändå nås snabbt.
Siffrorna är mål, inte mätningar
Volantis uppger att ett enda A-1-paket ska rymma mer än 10 terabyte minne med upp till 240 terabyte per sekund i bandbredd, nog för att betjäna en modell med 20 biljoner parametrar i 10 000 token per sekund och användare. Bolaget hävdar också 15 gånger bättre token per dollar än Nvidias Rubin-plattform, sex gånger bättre effektivitet för mixture-of-experts-modeller med låg latens över en biljon parametrar, och 30 gånger lägre latens vid inferens med stora modeller.
Inget av detta är byggt. The Register rapporterade att vd Tapa Ghosh beskrev 12 till 18 månader som ett aggressivt mål för en minsta fungerande produkt, inte för serietillverkning; unite.ai rapporterade att bolaget planerar att leverera sina första integrerade inferensmotorer till kunder 2027. Varje siffra ovan är Volantis egen prognos för kisel som ännu inte finns.
Vilka som står bakom
Rundan leddes av Lachy Groom och Abstract Ventures och tar den samlade finansieringen till 97 miljoner dollar. Bland övriga namngivna investerare finns John Doerr, VXI Capital, Triatomic och Susa Ventures, med ängelcheckar från Dwarkesh Patel, Naveen Rao och Sholto Douglas. Tidigare finansiärer är bland andra Sam Altman, Jeff Dean och SemiAnalysis Dylan Patel.
Investerarlistan är det mest informativa i beskedet. Det är inte ett vad på en produkt; det är ett vad på att det är minnesbandbredden och inte aritmetiken som begränsar inferensekonomin de närmaste åren — en position flera av dessa personer har drivit offentligt.
Ghosh sa till The Register att bolaget tänker licensiera så mycket som möjligt av resten av konstruktionen och behålla sitt eget arbete på den optiska interposern. Det som är värt att följa är om en fungerande interposer dyker upp inom den utlovade tiden, och om någon oberoende får mäta den.
