En ovanlig essä från OpenAI:s forskningschef
OpenAI:s forskningschef Jakub Pachocki publicerade den 6 september en essä där han hävdar att frontlabben närmar sig punkten då de bör sluta skala så snabbt de kan. “Just nu tror jag att inget labb har löst alignment och övervakning i tillräcklig grad för att ansvarsfullt fortsätta skala i maximal hastighet särskilt mycket längre”, skrev han i An Alien Mind. Han väntar sig att frivilliga inbromsningar bland frontutvecklarna blir vanliga tills gemensamma säkerhetsnivåer är överenskomna.
Texten kom dagar efter att OpenAI släppt GPT-6 Astra, den modell bolaget kallar sin mest kapabla, och samma vecka som företagets egen driftsdokumentation medgav att Astras resonemang är svårare att granska än tidigare systems.
Två sorters alignment
Pachocki skiljer måljustering — om ett system fullföljer det mål det fick — från värdejustering, som han beskriver som den mer inneboende förmågan att hålla en uppsättning övergripande principer och generalisera från dem, och agera rimligt när målen är oklara eller motstridiga och när situationen är obekant eller fientlig. Det är den andra egenskapen, menar han, som avgör om längre och mindre övervakat arbete går att lita på.
Övervakningsproblemet
Det skarpaste medgivandet gäller övervakning av tankekedjor, praktiken att läsa en modells mellanliggande resonemang för att kontrollera vad den gör. OpenAI:s tilltro till den metoden “minskar successivt”, skrev Pachocki, av tre skäl: miljöerna modellerna arbetar i blir mer komplexa, modellerna blir bättre på att resonera om sina egna processer, och de blir smartare utan att nödvändigtvis verbalisera mer.
Det spelar roll eftersom tankekedjeövervakning varit en av få kontrolltekniker som skalat med kapaciteten i stället för mot den. Pachocki förutspår att framstegen alltmer kommer att begränsas av hur mycket labben litar på sin övervakning än av hur mycket beräkningskraft de kan köpa — en omvändning av den restriktion branschen organiserat sig kring i tre år.
Från frivilliga åtaganden till granskade krav
Den politiska begäran är konkret. Pachocki vill att dagens frivilliga ramverk — OpenAI:s eget Preparedness Framework, Anthropics Responsible Scaling Policy — blir brett påbjudna säkerhetsnivåer för fortsatt utveckling, upprätthållna av ett nätverk av oberoende revisorer, myndigheter eller internationella organ. Han beskrev samordning mellan regeringar om hur AI-utvecklingen fortskrider som en högsta prioritet.
Det är en anmärkningsvärd hållning från forskningschefen på det labb som gjort mest för att sätta takten. OpenAI har tidigare hävdat att säkerhetsåtaganden fungerar bäst när labben sätter dem själva; att be om extern granskning medger att självreglering har ett tak.
Vad som händer härnäst
OpenAI säger att man fortsätter söka tekniska lösningar på alignment och övervakning, bygga försvarssystem och ensidigt hålla tillbaka fortsatt skalning där det bedöms nödvändigt. Provet på essän är om något av det någonsin syns utifrån. Närmaste tillfälle är den AI-dialog mellan USA och Kina som tjänstemän förberett till mitten av september, där Washington fört fram tanken att be labben på båda sidor att övervaka sig själva och dela information — precis den form av åtagande som Pachocki menar inte längre räcker på egen hand.
