Liten, multimodal och tillåtande licensierad
Google släppte EmbeddingGemma 2 den 6 oktober, en öppen inbäddningsmodell som placerar text, kod, bilder, video och ljud i ett enda gemensamt vektorrum. Den fullständiga multimodala modellen har 740 miljoner parametrar. Licensen är Apache 2.0, vilket betyder kommersiell användning utan förhandling.
Konstruktionen är modulär snarare än monolitisk. Rena textuppgifter kan köra en konfiguration på 270 miljoner parametrar. Kvantiserad anger Google det aktiva minnet till omkring 191 MB för enbart text och omkring 567 MB för den fullständiga multimodala modellen — litet nog att ligga i en telefon i stället för bakom ett API-anrop.
Vad siffrorna säger, och vem som mätt dem
Det benchmark Google lyfter fram är MTEB Code, där bolaget rapporterar 78,68, en förbättring på 9,92 punkter mot första EmbeddingGemma. Google säger också att modellen når ledande resultat bland multimodala inbäddare under en miljard parametrar på MTEB och MAEB, och att den matchar eller överträffar större modeller på text-, syn- och ljuduppgifter.
Det är Googles egna rapporterade siffror på publika benchmarks. Den användbara egenskapen hos öppna vikter är att de går att kontrollera: vem som helst kan ladda ned modellen och köra MTEB själv, vilket inte gäller de frontlinjesiffror som publicerats samma vecka.
Lagring är den andra praktiska axeln. Vektorerna kan kortas till 768, 512, 256 eller 128 dimensioner, vilket enligt Google ger upp till sex gånger mindre lagring. För ett sökindex på en enhet är det skillnaden mellan att rymmas och att inte rymmas.
Varför ett inbäddningssläpp betyder mer än det låter
Inbäddningar är det oglamorösa lagret under återvinning, rekommendation, dubblettfiltrering och semantisk sökning. En enda modell som lägger ett foto, en röstanteckning, ett videoklipp och ett stycke text i samma rum låter en enhet söka genom alla fyra med ett index i stället för fyra.
Att göra det lokalt är poängen. En inbäddare på enheten innebär att en telefon kan bygga och fråga ett semantiskt index över användarens egna filer utan att skicka någon av dem till en server — arkitekturen integritetsmyndigheter har knuffat mot och som EU:s transparensregler gör billigare att försvara.
Google uppger att modellen finns på Hugging Face och Kaggle, med optimerade byggen i LiteRT Community, och att den är på väg till Model Garden i Gemini Enterprise Agent Platform. Det som ska följas är om oberoende körningar av MTEB och MAEB återskapar påståendet om ledarskap under en miljard parametrar när gemenskapen haft vikterna i några veckor.
