En billigare Gemini med frontlinjepoäng

Google släppte Gemini 4 Hydrogen den 12 november, en modell som bolaget placerar under det frontlinjepar det lanserade i oktober och prissätter till 1,50 dollar per miljon inmatade tokens och 7,50 dollar per miljon utmatade. Taxorna är platta över modellens hela kontextfönster på en miljon tokens, utan pristrappa för långa anrop, och modellen kan returnera upp till en miljon utmatade tokens.

Lanseringen betyder mindre för vad den lägger till i toppen av Googles sortiment än för vad den flyttar nedåt i det. På Artificial Analysis Intelligence Index uppger Google att Hydrogen får 51 på sin förvalda tänkenivå “high” — en poäng över Gemini 4 Argon, en av de två frontlinjemodeller den nu står vid sidan av. På en ny nivå, “xhigh”, anger Google 54. Båda talen finns i Googles eget tillkännagivande, skrivet av Koray Kavukcuoglu, bolagets chefsarkitekt för AI, och inte på den oberoende listan som förvaltar indexet.

Upplysta fiberoptiska trådar som breder ut sig mot en mörk bakgrund
Google uppger att modellen går omkring 2,5 gånger snabbare än den den ersätter. Arkivbild. Suki Lee · pexels · Pexels License

Vad Google mätte, och vad det inte mätte

Tillkännagivandet är tätt av poäng, och nästan alla är Googles egna. Bolaget sätter Hydrogen på 57 procent på Terminal-Bench 4.1 mot 18,2 procent för Gemini 3.8 Flash, den modell den i praktiken ersätter; på 58,8 procent på HLE-Diamond; på 71,6 procent på Agents’ Last Exam v1.1; och på 52,3 procent på Vals Tax Agent Bench, där bolaget säger att den är först totalt. På Vals Legal Research Bench anger det 55,8 procent och en delad förstaplats.

En siffra går att kontrollera mot en utomstående källa. Google säger att Hydrogen når 53,4 procent på Multimodal Knowledge Agent, kunskapsarbetstestet som bolaget byggde med Artificial Analysis och släppte den 10 november. Artificial Analysis öppna MKA-tabell leds av Anthropics Claude Fable 5.2 på 57 procent, med Gemini 4 Carbon tvåa på 54 procent. Hydrogens tal ligger under båda.

Hastigheten är det tydligaste påståendet. Google säger att modellen går omkring 2,5 gånger snabbare än Gemini 3.8 Flash på den höga nivån, och att partner som testat den mätte mellan 2 och 2,8 gånger snabbare med 12 till 23 procent färre tokens. Inne i Google Antigravity, bolagets agentmiljö, uppger det att Hydrogen som orkestrerare kom nära Carbons uppgiftsresultat på Terminal-Bench med 24 procent lägre kvotförbrukning och 19 procent kortare tid i genomsnitt.

Ett tomt mötesrum med nätstolar runt ett långt träbord
Modellens siffror om agentsäkerhet kommer från Googles egna utvärderingar. Arkivbild. Max Vakhtbovych · pexels · Pexels License

Säkerhetssiffrorna är interna

Google publicerade också ett block med siffror om agentsäkerhet, alla från egna utvärderingar: upp till 81 procent mindre överskridande och upp till 79 procent mindre underleverans i agentuppgifter, en tolvfaldig minskning av felriktade åtgärder och genvägar i uppgifter över utvärderingar av verktygsanvändning och kod, och en modell som är upp till dubbelt så osannolik att tränga förbi en behörighetsgräns när en uppgift blockeras. Bolaget anger 96,7 procents ärlighet i en intern utvärdering och 99,9 procents läsbarhet i tankekedjan över mer än 200 000 granskade turer. En siffra från tredje part finns: Google säger att modellen är mer än 2,3 gånger mer motståndskraftig på Gray Swans riktmärke för indirekt promptinjektion.

Var den landar

Hydrogen rullas ut från den 12 november via Gemini API och Google AI Studio, den betalda nivån i Android Studio och Antigravity för betalande prenumeranter på Google AI Pro och Ultra. Företag får den i Gemini for business och i Google Sheets. Konsumenter hittar den i modellväljaren i Gemini-appen, och gratisanvändare når den via automatiskt modellval. Den går också in i Google Search för alla användare, den del av lanseringen med störst publik och minst publicerade tal.

Det som ska följas är om Artificial Analysis egen körning återskapar den indexpoäng Google citerade. Avståndet mellan en leverantörs siffra och en listas egen mätning är där den här lanseringen avgörs.