Samma modell, samma data, annan ordlista
Ett inlägg publicerat på Hugging Face beskriver VocabX, en metod för att bygga om en liten språkmodells tokeniserarordlista kring ett enda område, utan att röra grundmodellen, träningsdata eller receptet.
Experimentet är rent på ett sätt som sådana påståenden sällan är. Sju versioner av samma rättare i produktion tränades med samma grundmodell, samma data, samma recept och samma slumpfrö. Bara tokeniseraren skilde sig. Alla sju körde sedan samma 500 förfrågningar på ett RTX 5090 under vLLM, och kostnaden kom ur uppmätt körtid snarare än en skattning.
Genomsnittlig svarslängd föll från 350 tokens till 101. Kostnaden sjönk 77,0 procent. Bänkpoängen — rättningsträffsäkerhet plus gallringsträffsäkerhet — steg från 0,703 till 0,810.
Välja tokens efter kostnad, inte frekvens
Metodens centrala idé är att det vanliga kriteriet är fel. Tokeniserarordlistor byggs kring hur ofta en teckensträng förekommer. VocabX viktar i stället varje kandidat efter var den förekommer: en token som sparas i modellens svar är värd långt mer än en som sparas i prompten, eftersom generering är sekventiell och läsning inte är det. I det uppmätta systemet var en sparad svarstoken värd 7,4 gånger en sparad indatatoken.
Den arbetar på två nivåer under det enda kriteriet: vanliga delordsbitar och flerordiga makrotokens för upprepade avsnitt, som det JSON-hölje modellen skriver vid varje förfrågan. Fem automatiska sökare letar upprepade avsnitt, var och en specialiserad på en sorts upprepning, och kandidater som urvalet aldrig såg får en statistisk skattning av sitt värde i stället för en nolla. I rättaren krympte utdatalagret från omkring 152 000 rader till omkring 65 000.
Ett resultat inne i experimentet förtjänar att nämnas för sig. En tidigare, mer kompakt version smälte in varje betyg i sin makrotoken, vilket sänkte kostnaden 73,3 procent men gav 0,689 i poäng — under produktionsnivån. Att ge betyget en egen token lade till två tokens per svar och blev både bättre och billigare. Komprimering förbi en viss punkt kostar träffsäkerhet.
Vad de 77 procenten inte täcker
Författarna är tydliga med gränserna, och gränserna spelar roll. De 77 procenten kommer från en enda rättare i produktion, på ett språk, med ett svarsformat, på en maskin. Förhållandet 7,4 mellan kostnaden för generering och läsning varierar med maskinvara, satsstorlek och kontextlängd. Bänkpoängen är författarnas eget mått. Artikeln granskas ännu och siffrorna kan ändras före publicering.
Siffrorna mellan områden är skattningar
Den bredare jämförelsen omfattar fem offentliga områden — avtal, medicinska artiklar, vetenskapliga artiklar, nyheter och Python-kod — över Qwen3, Llama-3.1 och Gemma-3, mot snabb ordlisteöverföring, flerordstokenisering och BPE på plats. VocabX komprimerade mer än den starkaste jämförelsemetoden i samtliga 15 kombinationer av område och modell, med 1,2 till 9,3 enheter, och ledde i skattad inferenskostnad i alla 15.
Den andra siffran bör hållas löst: de kostnadstalen är skattningar, inte mätningar. På avtal var det uppmätta kompressionsresultatet 62,6 procents tokenminskning med 113 426 ordlisteposter, mot 61,8 procent med 207 803 poster för bästa BPE på plats — en mindre ordlista som gör något mer arbete.
Författarna är Bernardo França de Aguiar, Gabriel Pimenta de Freitas Cardoso, Bruno Duarte och Francisco de Almeida Rocha Alves, för Dharma-AI. Hela metoden och de försök de förkastade utlovas i den kommande artikeln, och det är där det blir värt att titta igen.
