Dejar el modelo en el disco
Una versión preliminar publicada esta semana en Hugging Face toma un modelo disperso de mezcla de expertos de 35.000 millones de parámetros y lo ejecuta en menos de 3 GiB de memoria activa, dejando los pesos en el almacenamiento y transmitiendo los expertos a medida que se necesitan.
Edge0-35B-A3B-preview se distribuye como un punto de control cuantizado a 4 bits con adaptadores LoRA y de prerruteo, bajo licencia Apache 2.0. Las cifras publicadas se midieron en un Mac mini M4 Pro con 24 GB de memoria: de 14,9 a 17,7 tokens por segundo de decodificación, de 113 a 140 tokens por segundo de prellenado y un pico de memoria activa de 2,9 GiB. No hay fragmentación ni carga previa de todos los pesos en la RAM.
Por qué una mezcla de expertos lo hace posible
Un modelo disperso de mezcla de expertos activa solo un pequeño subconjunto de sus parámetros para cada token: en este caso unos 3.000 millones de los 35.000, que es a lo que alude el A3B del nombre. La inferencia convencional los mantiene todos en memoria de todos modos, porque no se sabe a qué expertos enrutará un token hasta llegar ahí.
Ese es el problema que resuelve el prerruteador. Predice el enrutamiento un paso por delante, de modo que los expertos necesarios pueden traerse del almacenamiento mientras aún se calcula el token actual. La ficha del modelo cifra en hasta un 59% la mejora del rendimiento de decodificación gracias a esa predicción.
Cuantización sin el coste habitual
Trabajar a 4 bits suele costar precisión. Edge0 usa lo que llama destilación Recover-LoRA para recuperar parte de ella, e informa de una brecha media de 3,9 puntos porcentuales frente al modelo base en fp16 en pruebas como AIME, HumanEval y MMLU-Pro.
Esa cifra es del propio desarrollador, publicada en su propia ficha de modelo, y no se ha verificado de forma independiente. Casi cuatro puntos no es poco —es la diferencia entre dos generaciones de modelos en algunas de esas pruebas— pero es una propuesta muy distinta de la alternativa, que en una máquina de 24 GB es no ejecutar ningún modelo de 35.000 millones.
Qué cambia
La afirmación práctica es que el techo de memoria de la inferencia local es más blando de lo que parece. Si el enrutamiento puede predecirse con suficiente antelación y el almacenamiento es lo bastante rápido, la restricción pasa de cuánta RAM tiene una máquina a qué tan rápido es su SSD, y los SSD de consumo se han vuelto más rápidos a menor coste de lo que la RAM de consumo ha crecido.
Esto es una versión preliminar, sobre silicio de Apple, con cifras de calidad aportadas por el propio fabricante. Lo que hay que vigilar es si el enfoque aguanta en hardware x86 común con almacenamiento más lento, y si evaluaciones independientes reproducen esa brecha de 3,9 puntos.
