Et uvanlig essay fra OpenAIs forskningssjef
OpenAIs forskningssjef Jakub Pachocki publiserte 6. september et essay der han hevder at frontlabbene nærmer seg punktet der de bør slutte å skalere så raskt de kan. “Akkurat nå tror jeg ingen lab har løst alignment og overvåking i tilstrekkelig grad til å fortsette å skalere ansvarlig i maksimal fart særlig mye lenger”, skrev han i An Alien Mind. Han venter at frivillige nedbremsinger blant frontutviklerne blir vanlige inntil felles sikkerhetsnivåer er avtalt.
Teksten kom dager etter at OpenAI slapp GPT-6 Astra, modellen selskapet kaller sin mest kapable, og i samme uke som selskapets egen driftsdokumentasjon erkjente at Astras resonnering er vanskeligere å inspisere enn tidligere systemers.
To slags alignment
Pachocki skiller måljustering — om et system forfølger målet det fikk — fra verdijustering, som han beskriver som den mer iboende evnen til å holde et sett overordnede prinsipper og generalisere fra dem, og handle fornuftig når målene er uklare eller motstridende og situasjonen er ukjent eller fiendtlig. Det er den andre egenskapen, hevder han, som avgjør om lengre og mindre overvåket arbeid kan stoles på.
Overvåkingsproblemet
Den skarpeste innrømmelsen gjelder overvåking av tankekjeder, praksisen med å lese en modells mellomliggende resonnering for å kontrollere hva den gjør. OpenAIs tillit til den metoden “avtar gradvis”, skrev Pachocki, av tre grunner: miljøene modellene opererer i blir mer komplekse, modellene blir bedre til å resonnere om sine egne prosesser, og de blir smartere uten nødvendigvis å verbalisere mer.
Det betyr noe fordi tankekjedeovervåking har vært en av få kontrollteknikker som skalerte med kapasiteten i stedet for mot den. Pachocki spår at framgangen i økende grad vil begrenses av hvor mye labbene stoler på egen overvåking enn av hvor mye regnekraft de kan kjøpe — en omvending av begrensningen bransjen har organisert seg rundt i tre år.
Fra frivillige forpliktelser til kontrollerte krav
Den politiske forespørselen er konkret. Pachocki vil at dagens frivillige rammeverk — OpenAIs eget Preparedness Framework, Anthropics Responsible Scaling Policy — blir bredt påbudte sikkerhetsnivåer for videre utvikling, håndhevet av et nettverk av uavhengige revisorer, myndigheter eller internasjonale organer. Han beskrev samordning mellom regjeringer om hvordan KI-utviklingen går fram som en toppprioritet.
Det er en bemerkelsesverdig holdning fra forskningssjefen i labben som har gjort mest for å sette tempoet. OpenAI har tidligere hevdet at sikkerhetsforpliktelser fungerer best når labbene setter dem selv; å be om ekstern kontroll innrømmer at selvregulering har et tak.
Hva som skjer videre
OpenAI sier de vil fortsette å søke tekniske løsninger på alignment og overvåking, bygge forsvarssystemer og ensidig holde igjen videre skalering der de vurderer det nødvendig. Prøven på essayet er om noe av det noen gang blir synlig utenfra. Nærmeste anledning er KI-dialogen mellom USA og Kina som embetsverket har forberedt til midten av september, der Washington har luftet å be labbene på begge sider om å overvåke seg selv og dele informasjon — nøyaktig den formen for forpliktelse Pachocki mener ikke lenger holder alene.
