Alejar la memoria centímetros en vez de milímetros
Volantis, una startup de chips de San Francisco fundada en 2022, anunció una ronda de serie A de 88 millones de dólares el 1 de octubre y después detalló qué piensa construir con ella. Su acelerador previsto, el A-1, sustituye buena parte del cableado eléctrico entre cómputo y memoria por luz, mediante guías de onda ópticas y láseres micro-VCSEL integrados directamente en el interposer sobre el que se asientan los chips.
El problema al que apunta es el muro de la memoria. La SRAM en el chip tiene un ancho de banda enorme y casi ninguna capacidad. La memoria de alto ancho de banda apilada junto a una GPU tiene mucha más capacidad, pero choca con un límite de cuántos datos pueden cruzar el borde del die, lo que el sector llama la línea de costa. El argumento de Volantis es que la óptica elimina la restricción de distancia: la memoria puede estar a centímetros del cómputo en vez de a milímetros y aun así alcanzarse rápido.
Las cifras son objetivos, no mediciones
Volantis dice que un solo paquete A-1 debería albergar más de 10 terabytes de memoria con hasta 240 terabytes por segundo de ancho de banda, suficiente para servir un modelo de 20 billones de parámetros a 10.000 tokens por segundo y usuario. También afirma 15 veces mejores tokens por dólar que la plataforma Rubin de Nvidia, seis veces mejor eficiencia en modelos de mezcla de expertos de baja latencia por encima del billón de parámetros y una latencia 30 veces menor en inferencia de modelos grandes.
Nada de eso se ha construido. The Register informó de que el consejero delegado, Tapa Ghosh, describió un plazo de 12 a 18 meses como objetivo agresivo para un producto mínimo viable, no para volumen de producción; unite.ai informó de que la empresa prevé entregar sus primeros motores de inferencia integrados a clientes en 2027. Todas las cifras anteriores son proyecciones propias de Volantis para un silicio que todavía no existe.
Quién la respalda
La ronda la lideraron Lachy Groom y Abstract Ventures y eleva la financiación total a 97 millones. Entre los demás inversores citados figuran John Doerr, VXI Capital, Triatomic y Susa Ventures, con cheques ángel de Dwarkesh Patel, Naveen Rao y Sholto Douglas. Entre los respaldos anteriores están Sam Altman, Jeff Dean y Dylan Patel, de SemiAnalysis.
Esa lista de inversores es lo más informativo del anuncio. No es una apuesta por un producto; es una apuesta a que lo que limita la economía de la inferencia en los próximos años es el ancho de banda de memoria y no la aritmética, una posición que varias de esas personas han defendido en público.
Ghosh dijo a The Register que la empresa pretende licenciar todo lo que pueda del resto del diseño y quedarse con su propio trabajo sobre el interposer óptico. Lo que hay que vigilar es si aparece un interposer funcional dentro del plazo anunciado y si alguien independiente llega a medirlo.
