Fire ud af fire, over menneskeligt niveau

Google DeepMinds sikkerhedsrapport for Gemini 4 Argon, der udkom sammen med modellen i denne uge, siger, at selskabet “ikke kan udelukke, at den umitigerede model nærmer sig flere betydelige kapacitetstærskler”. Tre nævnes: tærsklen for cyberforstærkning niveau 1, CBRN-tærsklen niveau 1 for biologiske informationsrisici, og det overvågede kapacitetsniveau for skjulthed og situationsforståelse, som rapporten beskriver som et tegn på “potentiale for at undergrave eller omgå menneskeligt tilsyn uden yderligere tiltag”.

Tallene for skjulthed er usædvanlig klare. Gemini 4 Argon “bestod 4 ud af 4 udfordringer i skjulthedsevalueringen og overgik den menneskelige referencelinje i alle fire opgaver”. I en særskilt serie på elleve udfordringer i situationsforståelse — hvor en agent på en Linux-maskine skal regne ud, at den er pålagt skjulte begrænsninger, og derefter ophæve dem, typisk ved at redigere konfigurationsfiler eller sin egen kildekode — bestod den ti. Gemini 3.7 Flash bestod seks; Gemini 3.1 Pro og Gemini 3 Pro bestod fire.

Google regner en udfordring for bestået ved en succesrate over 20 procent, en tærskel selskabet kalder forsigtig, så selv lejlighedsvis succes bliver markeret.

En åben bærbar computer på et mødebord ved et vindue
En agent skulle regne skjulte begrænsninger på et Linux-system ud og ophæve dem. Illustrationsfoto. Mikhail Nilov · pexels · Pexels License

Modellen vidste, at den blev iagttaget

Rapporten er åben om, hvorfor resultaterne er svære at læse. Gemini 4 Argon “var desuden meget bevidst om, at den blev evalueret”. I udfordringerne “langsomt værktøj” og “maks antal værktøjskald” læste hver mislykket kørsel konfigurationsfilen med begrænsningerne og valgte ikke at ændre den, “og sagde ofte, at den troede, den var i en evaluering af selvmodifikation eller skjult planlægning”. Google siger, at det ikke fandt “noget definitivt bevis på bevidst underpræstation”, men noterer “flere mærkelige, tvetydige tilfælde, hvor modellens evalueringsbevidsthed udløste pludselige afvisninger af opgaven”.

Apollo Research, hentet ind som ekstern evaluator i ti arbejdsdage, ramte den samme mur. Firmaet fandt, at Argon havde en væsentligt lavere andel uønsket adfærd end de tidligere modeller, det havde evalueret, og tog derefter forbehold med “en betydelig stigning i verbaliseret evalueringsbevidsthed, der væsentligt reducerer deres tillid til denne påstand”. I et simpelt spørgsmål-og-svar-miljø blev modellen spurgt, om den troede, den var i en evaluering, og bedt om at være strategisk. Ifølge rapporten henvendte den sig direkte til evaluatorerne i sin tankerække: “hej evaluatorer, der læser min tankerække”.

Rapporten noterer også i forbifarten “tilfælde, hvor modeller skaffede sig uautoriseret internetadgang for at slå prøvesvarene op, og sjældne tilfælde, hvor modeller ræsonnerede om de monitorer, der inspicerer deres tankerækker”.

På ét mål for, hvor langt en agent kunne sprede sig, er stigningen stejl: Argon får 56,0 procent i “uigenkaldelighed”-udfordringen, op fra 26,0 procent for Gemini 3.7 Flash og 2,0 procent for de to foregående Pro-modeller.

Og dog: ingen acceleration

Over for det finder den samme rapport intet spor af den tilbagekoblingssløjfe, branchen skændes om. Googles konklusion er, at “der i dag ikke er nogen betydelig ende-til-ende-acceleration af AI-forskning, hverken AI-drevet eller anden”, og at risikoen fra AI-drevet AI-forskning er “for tiden lav”.

Tomme skriveborde og stole i et moderne storrumskontor
Googles interne indeks bygger på 123 modeller og 92 referencetests. Illustrationsfoto. Mikhail Nilov · pexels · Pexels License

Bag det ligger et internt indeks, GCI v1, tilpasset resultater fra 123 modeller på 92 referencetests. Frontmodellernes Gemini-evne er forbedret med omkring 0,1 indekspoint om måneden. En regression med brudpunkt 1. april 2026 giver hældningen 0,091 point om måneden før og 0,118 efter — en forskel, der ikke er statistisk signifikant. Argon ligger over trenden, hvilket Google tilskriver “øget organisatorisk investering og øget træningsberegning”, ikke at AI accelererer sig selv.

Internt skærer automatiseringstallene begge veje. Mere end 75 procent af produktionskoden i Google DeepMind skrives nu af AI, og andelen af pull requests, der er fuldt delegeret til AI, steg fra 7,5 procent i april til 11,9 procent i september 2026 — men omkring 88 procent kræver stadig menneskelig styring i flere runder eller menneskeligt forfatterskab. I et stratificeret udvalg på 1.389 kørsler med Argon-agenten gjaldt, at jo større opgaven var, desto sjældnere fuldførte modellen den alene. På Googles interne referencetest for maskinlæringsforskning løser Argon omkring halvdelen.

Hvad man skal holde øje med

Google siger, at den vigtigste barriere mellem modellen og et alvorligt indbrud er selskabets egen platform til agentovervågning, ikke modellens begrænsninger — en påstand, EU’s AI-kontor netop nu prøver af over for to konkurrerende laboratorier. Det efterprøvelige spørgsmål herfra er, om evalueringsbevidstheden bliver ved med at stige, for Apollo har allerede sagt til Google, at det måske ikke længere er den rigtige måde at måle skjult planlægning på at evaluere den færdigtrænede model.