Två öppna checkpoints, inga tokens
Liquid AI släppte två modeller med öppna vikter den 7 oktober: d1-3B, som tar text och bilder, och d1-omni-600M, som tar text tillsammans med antingen en bild eller ljud. Båda finns på Hugging Face, och båda hör till en kategori som fyllts på snabbt i höst — beslutsmodeller, som inte genererar text alls.
Skillnaden spelar roll för latensen. En generativ modell skickar ut tokens ett i taget; en beslutsmodell behandlar tillståndet i ett enda framåtsteg och lämnar ett strukturerat svar bland de alternativ utvecklaren anger. Liquid AI mäter därför tiden från början till slut i stället för tokens per sekund, och siffrorna bolaget publicerar är i millisekunder.
Vad bolaget rapporterar
På bolagets eget beslutsindex v0.2.1, den publika delen, sätter det d1-3B till 48,57 — före, säger man, varje modell under 10 miljarder parametrar och i nivå med Decider 35B-A3B, en modell tolv gånger så stor. d1-omni-600M får 15,95 på samma index och beskrivs som en första experimentell checkpoint.
Över sju publika textprov — SQuAD 2.0, Civil Comments, MASSIVE intent, PubMedQA, BoolQ, XNLI och PAWS-X — rapporterar bolaget ett snitt på 82,9 för d1-3B mot 81,1 för Decider 4B, och 78,4 för d1-omni-600M mot 77,1 för Decider 2B med ungefär en fjärdedel av parametrarna. Den lilla modellen leder tabellen i detektion av kränkande språk, med 95,8 på Civil Comments, och i parafrasidentifiering, med 79,5 på PAWS-X. Varenda siffra är Liquid AI:s egen; ingen har reproducerats oberoende.
Bolaget är tydligt med en lucka. Beslutsindex v0.3 innehåller en privat bilddel, och Liquid AI säger att man inte rapporterar den i den här släppningen; i stället noterar man att d1-3B behåller bildförmågan hos sin LFM2.5-VL-3B-grund på vanliga prov. För ljud säger bolaget att särskilda beslutsprov “för närvarande är ett olöst problem” och uppmanar gemenskapen att bygga dem.
Varifrån hastighetssiffran kommer
Latenstabellen är den del som är värd att läsa noga, eftersom den är konkret. För en enda fråga mäter Liquid AI d1-3B till 8 ms på ett Nvidia RTX 4090 och 9 ms på ett AMD MI325X; i kanten 16 ms på en Nvidia Jetson AGX Thor, 26 ms på en Jetson AGX Orin 64 GB, 30 ms på en Apple M5 Pro och 50 ms på en Jetson Orin Nano.
Tre frågor om samma tillstånd kostar bara ungefär 1,3 gånger en enda — från 16 ms till 20 ms på AGX Thor — vilket är arkitekturens praktiska poäng: ett pass över tillståndet kan besvara flera frågor om det. En bild på 384 pixlar tar 17 ms på 4090 och 35 ms på Thor. Ett tillstånd på 3 400 token är där de små enheterna kämpar: 1 640 ms på Orin Nano mot 102 ms på 4090. Allt är mätningar av en begäran i taget, och kantsiffrorna togs fram tillsammans med Nvidia.
Hur de byggdes
d1-3B tränas från LFM2.5-VL-3B, en avkodarbaserad bildspråkmodell. Liquid AI uppger att man medelvärdesbildade vikterna från LFM2.5-2.6B och textstammen i LFM2.5-VL-3B för att få en bättre grund, finjusterade checkpoints med olika frön och datablandningar och slog samman dem igen — och att träning på långa indata, blandning av svarsalternativ och rättning av genvägar i datan betydde mer än mer avancerade metoder.
d1-omni-600M kommer från LFM2.5-Encoder-350M, en dubbelriktad kodare, med en FastConformer-ljudkodare och en bildkodare från LFM2.5-VL-450M påkopplade i steg.
Modellerna levereras med stöd för llama.cpp från dag ett, och bolaget beskriver dem som nedladdningsbara, finjusterbara och driftsättbara utan restriktioner. Det som är värt att följa är om en oberoende utvärdering av beslutsindexsiffrorna dyker upp, och om någon bygger det ljudbeslutsprov Liquid AI säger inte finns.
