Att låta modellen ligga kvar på disken
En förhandsversion som publicerades på Hugging Face i veckan tar en gles expertblandningsmodell med 35 miljarder parametrar och kör den på under 3 GiB aktivt minne, genom att låta vikterna ligga kvar på lagringen och strömma in experter allteftersom de behövs.
Edge0-35B-A3B-preview levereras som en fyrabitarskvantiserad kontrollpunkt med LoRA- och förruteringsadaptrar, under Apache 2.0-licens. De publicerade siffrorna mättes på en Mac mini M4 Pro med 24 GB minne: 14,9 till 17,7 token i sekunden vid avkodning, 113 till 140 token i sekunden vid förifyllning, och en topp på 2,9 GiB aktivt minne. Ingen uppdelning och ingen förhandsladdning av hela vikterna till RAM.
Varför en expertblandning gör detta möjligt
En gles expertblandningsmodell aktiverar bara en liten delmängd av sina parametrar för varje token — här ungefär 3 miljarder av de 35, vilket A3B i namnet syftar på. Konventionell inferens håller ändå alla i minnet, eftersom man inte vet vilka experter en token ska dirigeras till förrän man är där.
Det är problemet förruteraren löser. Den förutsäger dirigeringen ett steg i förväg, så att de experter som behövs kan hämtas från lagringen medan den aktuella token fortfarande beräknas. Modellkortet anger förbättringen i avkodningsgenomströmning tack vare den förutsägelsen till upp till 59 procent.
Kvantisering utan den vanliga kostnaden
Att köra på fyra bitar kostar normalt träffsäkerhet. Edge0 använder vad man kallar Recover-LoRA-destillation för att ta tillbaka en del av den, och redovisar ett genomsnittligt gap på 3,9 procentenheter mot basmodellen i fp16 över tester som AIME, HumanEval och MMLU-Pro.
Den siffran är utvecklarens egen, publicerad på det egna modellkortet, och har inte verifierats oberoende. Nästan fyra punkter är inte ingenting — det är skillnaden mellan två modellgenerationer på några av dessa tester — men det är ett helt annat erbjudande än alternativet, som på en maskin med 24 GB är att inte köra någon 35-miljardersmodell alls.
Vad det ändrar
Det praktiska anspråket är att minnestaket för lokal inferens är mjukare än det ser ut. Om dirigeringen kan förutsägas tillräckligt långt i förväg och lagringen är snabb nog flyttas begränsningen från hur mycket RAM en maskin har till hur snabb dess SSD är — och konsument-SSD:er har blivit snabbare billigare än konsument-RAM har blivit större.
Detta är en förhandsversion, på Apple-kisel, med kvalitetssiffror rapporterade av utvecklaren själv. Det som är värt att följa är om metoden håller på vanlig x86-hårdvara med långsammare lagring, och om oberoende utvärderingar återskapar gapet på 3,9 punkter.
