Et usædvanligt essay fra OpenAI’s forskningschef
OpenAI’s forskningschef Jakub Pachocki offentliggjorde 6. september et essay, hvor han hævder, at frontlaboratorierne nærmer sig det punkt, hvor de bør holde op med at skalere så hurtigt, de kan. “Lige nu tror jeg, at intet laboratorium har løst alignment og overvågning i tilstrækkelig grad til at fortsætte ansvarligt med at skalere ved maksimal hastighed ret meget længere”, skrev han i An Alien Mind. Han venter, at frivillige opbremsninger blandt frontudviklerne bliver almindelige, indtil fælles sikkerhedsniveauer er aftalt.
Teksten kom dage efter, at OpenAI havde sluppet GPT-6 Astra, den model virksomheden kalder sin mest kapable, og i samme uge som selskabets egen driftsdokumentation erkendte, at Astras ræsonnement er sværere at inspicere end tidligere systemers.
To slags alignment
Pachocki skelner måljustering — om et system forfølger det mål, det fik — fra værdijustering, som han beskriver som den mere iboende evne til at holde fast i et sæt overordnede principper og generalisere ud fra dem og handle fornuftigt, når målene er uklare eller modstridende, og situationen er ukendt eller fjendtlig. Det er den anden egenskab, argumenterer han, der afgør, om længere og mindre overvåget arbejde kan betros.
Overvågningsproblemet
Den skarpeste indrømmelse handler om overvågning af tankekæder, praksissen med at læse en models mellemliggende ræsonnement for at kontrollere, hvad den gør. OpenAI’s tillid til den metode “aftager gradvist”, skrev Pachocki, af tre grunde: de miljøer, modellerne arbejder i, bliver mere komplekse, modellerne bliver bedre til at ræsonnere om deres egne processer, og de bliver klogere uden nødvendigvis at verbalisere mere.
Det betyder noget, fordi tankekædeovervågning har været en af de få kontrolteknikker, der skalerede med kapaciteten frem for imod den. Pachocki forudser, at fremskridtet i stigende grad vil blive begrænset af, hvor meget laboratorierne stoler på deres overvågning, end af hvor meget regnekraft de kan købe — en omvending af den begrænsning, branchen har organiseret sig omkring i tre år.
Fra frivillige tilsagn til kontrollerede krav
Den politiske anmodning er konkret. Pachocki vil have, at dagens frivillige rammer — OpenAI’s eget Preparedness Framework, Anthropics Responsible Scaling Policy — bliver bredt påbudte sikkerhedsniveauer for fortsat udvikling, håndhævet af et netværk af uafhængige revisorer, myndigheder eller internationale organer. Han beskrev samordning mellem regeringer om, hvordan AI-udviklingen skrider frem, som en topprioritet.
Det er en bemærkelsesværdig holdning fra forskningschefen i det laboratorium, der har gjort mest for at sætte tempoet. OpenAI har tidligere hævdet, at sikkerhedstilsagn virker bedst, når laboratorierne selv sætter dem; at bede om ekstern kontrol indrømmer, at selvregulering har et loft.
Hvad man skal holde øje med
OpenAI siger, at man fortsætter med at søge tekniske løsninger på alignment og overvågning, bygge forsvarssystemer og ensidigt holde igen på videre skalering, hvor det vurderes nødvendigt. Prøven på essayet er, om noget af det nogensinde bliver synligt udefra. Den nærmeste anledning er AI-dialogen mellem USA og Kina, som embedsmænd har forberedt til midten af september, hvor Washington har luftet at bede laboratorierne på begge sider om at overvåge sig selv og dele oplysninger — præcis den form for tilsagn, Pachocki mener ikke længere rækker alene.
