Vad det returnerar
OpenAI har öppnat ett besluts-API i öppen betaversion. Det tar emot text, bilder eller båda och returnerar ett typat svar i stället för löpande text.
Tre svarstyper är dokumenterade. En predicate ger en sannolikhet mellan 0 och 1 för att ett villkor gäller. En choice ger ett av de värden anroparen angett, med sannolikheter per alternativ och ett konfidensvärde. En score ger ett sannolikhetsvägt medelvärde över nivåindex, också det med sannolikheter och konfidens. Kodexemplen hanterar dessutom ett nekande svar.
Det är hela ytan. Ingen fritext, inga verktygsanrop, inget strömmande stycke.
Priset är designen
Inmatning kostar 0,10 dollar per miljon tokens, och OpenAI uppger att man bara betalar för intokens: ingen avgift för cacheläsning, ingen för cacheskrivning, ingen för uttokens. Påslag för regional bearbetning och multiplikatorer för långt sammanhang gäller fortfarande.
Gratis utmatning är mindre generöst än det låter, och mer intressant. En sannolikhet och ett konfidensvärde är en handfull tokens; att ta betalt för dem vore ett avrundningsfel. Det priset egentligen signalerar är att OpenAI räknar med att slutpunkten anropas i volymer där det är kostnaden per anrop som avgör.
Dokumentationen hävdar att slutpunkten svarar ungefär tio gånger snabbare än svars-API:et, utan att ange absoluta svarstider. Hittills finns bara gpt-6-luna på den.
Begränsningarna som är värda att läsa
Bilder måste skickas som inbäddade base64-data-URL:er. Värdbaserade HTTP- eller HTTPS-bildlänkar och file_id stöds inte på den här slutpunkten, vilket är en verklig begränsning för den som redan lagrar sina bilder i objektlagring.
På regelefterlevnadssidan stöder slutpunkten noll datalagring och HIPAA-användning för behöriga kunder, med datahemvist och regional bearbetning i USA och i Europa. OpenAI säger sig vänta allmän tillgänglighet inom några veckor.
Nivåändringen bredvid
OpenAI minskade också sina betalda API-nivåer från fem till tre, enligt dokumentationen om gränser: Build, Launch och Grow, med månadsgränser på 500, 5 000 och 200 000 dollar. Organisationer flyttas upp automatiskt när deras samlade kreditköp når nästa tröskel.
Varför en beslutsslutpunkt alls
De flesta produktionsanvändningar av en språkmodell handlar inte om att skriva. De handlar om klassificering, dirigering, extrahering, moderering och poängsättning — uppgifter där det användbara svaret är ett fält och texten runt omkring är spill som anroparen måste tolka och leverantören måste fakturera.
The Decoder läser lanseringen som ett svar på den trend med beslutsmodeller som mindre labb startade tidigare i år. Det är tolkning och inte ett uttalande från OpenAI, men formen stämmer: Anthropic sänkte priset på sin lilla modell samma dag, och båda dragen pekar mot samma nivå av arbete.
Vad man ska följa
Om fler modeller dyker upp på slutpunkten, om kalibreringssiffror publiceras för de sannolikheter den returnerar, och om datumet för allmän tillgänglighet håller. En okalibrerad sannolikhet är ett tal med decimalkomma, och ett dirigeringslager byggt på den kommer att ha fel med stort självförtroende och i stor skala.
