Två storlekar, ett rum
Perplexity släppte pplx-embed-v2-late den 7 oktober: två sökmodeller med öppna vikter, på 0,6 och 9 miljarder parametrar, publicerade på Hugging Face under MIT-licens. Det är sökmodeller med sen interaktion i ColBERT-stil, som ger en vektor på 128 dimensioner för varje token i stället för att pressa ihop ett dokument till en enda vektor, och som poängsätter med MaxSim: varje token i frågan väljer den token i dokumentet som passar bäst, och de bästa träffarna summeras.
Det bolaget lyfter fram först är inte en provsiffra utan en egenskap hos samspelet mellan modellerna. Båda checkpointsen destillerades från samma lärarmodell på 18 miljarder parametrar med det bolaget kallar LEAF-liknande representationsdestillation, där varje elevs utdata per token riktas in mot lärarens. Därför delar de två modellerna inbäddningsrum, och ett index byggt av niomiljardersmodellen kan sökas med frågor inbäddade av den på 0,6 miljarder.
Varför det är poängen
Indexering och frågekodning har olika ekonomi. Indexeringen sker i efterhand, en gång, och kostnaden fördelas över alla senare sökningar; frågekodningen ligger i latensvägen för varje anrop. Perplexitys resonemang är att man ska betala för kvalitet där det är billigt och för snabbhet där det inte är det.
Bolaget redovisar vad den asymmetriska uppställningen ger. På bildsökning i ViDoRe v3 ger indexering med niomiljardersmodellen och frågor från den lilla 63,5 procent, upp från 62,3 när den lilla gör båda delarna — 1,2 procentenheter till samma frågekostnad. Över 72 domänspecifika textprov ligger den asymmetriska uppställningen i snitt 1,6 enheter bättre. Att köra den stora modellen på båda sidor är ändå bäst, 81,3 procent på domänproven mot den lillas 78,0, så den blandade uppställningen tar igen ungefär halva skillnaden gratis vid frågetillfället.
Siffrorna, och vems de är
Varje siffra nedan är Perplexitys egen, publicerad i samband med släppet; ingen är oberoende verifierad.
På de 72 domänspecifika proven — finans, juridik, hälsa, samtal, teknik och flerspråkiga uppgifter — ligger niomiljardersmodellen på 81,3 procent i snitt, vilket bolaget säger är bäst av allt det utvärderat och 1,6 enheter före nästa modell. Den lilla ligger på 78,0 procent, 0,3 enheter efter gemini-embedding-2. På ViDoRe v3 Markdown får de 64,7 och 61,2 procent, mot 60,6 för den bästa externa modell som testats.
På Q2D-Web, Perplexitys eget prov med omkring 70 000 agentomskrivna frågor mot 190 miljoner webbdokument, leder båda modellerna över samtliga jämförelsemodeller i alla tre relevansbedömningar; på den sammanslagna når de 74,8 och 73,6 procent recall@1000 mot ett tidigare bästa på 69,3. På bildsökning får niomiljardersmodellen 65,2 procent på ViDoRe v3 bild, bara efter Tencents EVIE bland de jämförda; den lilla når 62,3 procent med 340 miljoner aktiva parametrar för bildindata.
På agentuppgifter får en GPT-OSS-120B-agent med niomiljardersmodellen 64,0 procent på BrowseComp+, enligt Perplexity 4,9 enheter före nästa ColBERT-modell och 8,7 före nästa täta. På MADQA — 500 människoskrivna frågor över 800 verkliga PDF-filer på mer än 18 000 sidor — når en Gemini 3.5 Flash-agent med niomiljardersmodellen 92,4 procents träffsäkerhet, mot 88,9 med Mixedbreads sökmodell. Perplexity noterar att Mixedbreads fullständiga agentsökning får 93,4 procent, inom dess konfidensintervall.
Kostnaderna som inlägget inte döljer
Sen interaktion lagrar vektorer per token, inte per dokument, så indexet blir större och poängsättningen tyngre, och kostnaden växer med dokumentets längd. Perplexity skriver det rakt ut och framhåller sina 128 dimensioner som en lagringsfördel mot konkurrenter på 2 048 och 4 096 dimensioner.
Bolaget uppger också att det uteslöt varje dataset kopplat till ett prov det utvärderar på, och tog kvalitetsförlusten för att siffrorna ska betyda något. Något värdbaserat API finns ännu inte: modellerna är i dag för den som kör dem själv, och Perplexity säger att man gradvis kommer att införa sen interaktion, täta och kontextuella inbäddningar på sin plattform och publicera en teknisk rapport senare i år.
