En billigere Gemini med frontlinjepoeng
Google slapp Gemini 4 Hydrogen 12. november, en modell selskapet plasserer under frontlinjeparet det lanserte i oktober, og priser til 1,50 dollar per million inndata-tokens og 7,50 dollar per million utdata-tokens. Satsene er flate over modellens hele kontekstvindu på én million tokens, uten pristrinn for lange forespørsler, og modellen kan returnere opptil én million utdata-tokens.
Lanseringen betyr mindre for hva den legger til øverst i Googles utvalg enn for hva den flytter nedover i det. På Artificial Analysis Intelligence Index oppgir Google at Hydrogen får 51 på sitt forvalgte tenkenivå «high» — ett poeng over Gemini 4 Argon, en av de to frontlinjemodellene den nå står ved siden av. På en ny innstilling, «xhigh», anslår Google 54. Begge tallene står i Googles eget tilkjennegivelse, skrevet av Koray Kavukcuoglu, selskapets sjefsarkitekt for KI, og ikke på den uavhengige listen som forvalter indeksen.

Hva Google målte, og hva det ikke målte
Tilkjennegivelsen er tett av poengsummer, og nesten alle er Googles egne. Selskapet setter Hydrogen på 57 prosent på Terminal-Bench 4.1 mot 18,2 prosent for Gemini 3.8 Flash, modellen den i praksis erstatter; på 58,8 prosent på HLE-Diamond; på 71,6 prosent på Agents’ Last Exam v1.1; og på 52,3 prosent på Vals Tax Agent Bench, der det sier den er først totalt. På Vals Legal Research Bench oppgir det 55,8 prosent og en delt førsteplass.
Ett tall kan kontrolleres mot en utenforstående kilde. Google sier at Hydrogen når 53,4 prosent på Multimodal Knowledge Agent, kunnskapsarbeidstesten selskapet bygget med Artificial Analysis og slapp 10. november. Artificial Analysis’ åpne MKA-tabell ledes av Anthropics Claude Fable 5.2 på 57 prosent, med Gemini 4 Carbon på andreplass med 54 prosent. Hydrogens tall ligger under begge.
Farten er den klareste påstanden. Google sier modellen går omkring 2,5 ganger raskere enn Gemini 3.8 Flash på høy innstilling, og at partnere som har testet den målte mellom 2 og 2,8 ganger raskere med 12 til 23 prosent færre tokens. Inne i Google Antigravity, selskapets agentmiljø, oppgir det at Hydrogen som orkestrerer kom nær Carbons oppgaveresultat på Terminal-Bench med 24 prosent lavere kvotebruk og 19 prosent kortere tid i gjennomsnitt.

Sikkerhetstallene er interne
Google publiserte også en blokk med tall om agentsikkerhet, alle fra egne evalueringer: opptil 81 prosent mindre overskridelse og opptil 79 prosent mindre underleveranse i agentoppgaver, en tolvfoldig reduksjon i feilrettede handlinger og snarveier i oppgaver på tvers av evalueringer av verktøybruk og koding, og en modell opptil dobbelt så lite sannsynlig å presse seg forbi en tilgangsgrense når en oppgave blokkeres. Det oppgir 96,7 prosent ærlighet i en intern evaluering og 99,9 prosent lesbarhet i tankekjeden over mer enn 200 000 reviderte turer. Ett tall fra tredjepart finnes: Google sier modellen er mer enn 2,3 ganger mer motstandsdyktig på Gray Swans måling av indirekte instruksjonsinjeksjon.
Hvor den lander
Hydrogen rulles ut fra 12. november via Gemini API og Google AI Studio, det betalte nivået i Android Studio og Antigravity for betalende abonnenter på Google AI Pro og Ultra. Bedrifter får den i Gemini for business og i Google Sheets. Forbrukere finner den i modellvelgeren i Gemini-appen, og gratisbrukere når den gjennom automatisk modellvalg. Den går også inn i Google Search for alle brukere, den delen av lanseringen med størst publikum og minst publiserte tall.
Det som skal følges, er om Artificial Analysis’ egen kjøring gjenskaper indekspoengsummen Google siterte. Avstanden mellom en leverandørs tall og en listes egen måling er der denne lanseringen blir dømt.