En modell utan prosa i sig
TypeSafe AI, ett bolag grundat av den tidigare OpenAI-forskaren Diogo Almeida, öppnade den 15 september tidig tillgång till en modell som inte genererar text. Jev tar emot ostrukturerad indata och en uppsättning typade frågor, och lämnar tillbaka värden och sannolikheter — en klassificering, en väg, ett betyg — och ingenting annat.
Bolaget kallar det en System One Model och hävdar att det är den första i sitt slag: en modell “byggd för att fatta snabba, strukturerade beslut som programvara kan använda direkt”, i stället för en som optimerats för en mänsklig läsare. Almeida beskrev den för AI News som “ett funktionsanrop med frontlinjeintelligens: ostrukturerat tillstånd in, typade probabilistiska beslut ut”.
TypeSafe tillbringade två år i det tysta på en såddrunda om 40 miljoner dollar före släppet.
Siffrorna bolaget uppger
TypeSafes egna uppgifter anger Jevs svarstid från början till slut till mellan 70 och 500 millisekunder, mot 3 till 329 sekunder för språkmodeller i frontlinjen på samma arbete, och priset till 0,042 dollar per miljon tokens in med gratis utdata — “för billigt för att mäta” — där samtalsmodeller tar ungefär 0,20 till 10 dollar per miljon tokens in. AI News rapporterade utvärderingar som visar Jev upp till 193,6 gånger snabbare och 444,6 gånger billigare än språkmodeller på avgränsade beslutsuppgifter.
Det är leverantörens siffror, och TypeSafe säger det själv. I tillkännagivandet noteras att utvärderingarna av arbetsflöden “ligger i den högre delen av vinsterna i verkligheten” och att “viss snedvridning kan finnas” eftersom flödena skrevs av bolagets eget kapacitetsteam. Ingen oberoende utvärdering av Jev har publicerats.
Hur den är byggd
I stället för att förutsäga en token i taget producerar Jev sitt typade svar i en enda parallell förfrågan. Träningsmetoden är vad bolaget kallar förstärkningsinlärning för kalibrerade beslut, med syftet att sannolikheten som följer med varje svar ska betyda något och inte bara rangordna alternativ.
Den strukturella följd TypeSafe lutar sig hårdast mot är att utdata begränsas till ett schema som den anropande parten definierar, så att modellen inte kan lämna ett värde utanför det. Bolaget säger att Jev därför “inte kan hallucinera”. Det stämmer i den snäva meningen att den inte kan hitta på en typ — den kan fortfarande lämna fel alternativ med hög säkerhet, vilket är ett annat fel och ett som bara oberoende prövning kan mäta.
Varför den inte konkurrerar med chattbottar
Jev kan inte skriva ett mejl, sammanfatta ett dokument eller förklara ett fel. Det utesluter det mesta av vad folk köper språkmodeller för, och det är poängen: en stor del av anropen till modeller i produktion är inte skrivuppgifter alls utan dirigering, filtrering, poängsättning och bedömning, där att generera prosa token för token är ren omkostnad. TypeSafe säljer in i den skivan, och demonstrationerna speglar det — en bot som spelar Doom utifrån spelets tillstånd och en som navigerar mellan Wikipediaartiklar.
Vad som avgör saken
Två saker. Den första är en oberoende utvärdering, utan vilken påståendena om hastighet och kostnad förblir bolagets egna. Den andra är om System One Model blir en kategori som andra labb bygger för, eller stannar vid namnet ett bolag gav sin produkt.
