Det han sade
Evan Hubinger, som leder alignmentforskningen på Anthropic, skrev på onsdagen på X att “Jacob har rätt här — vi tror verkligen uppriktigt att AI skulle kunna döda alla människor! Jag tror personligen att det är över 10 procent inom det närmaste decenniet”, enligt OfficeChai.
Jacob är Jacob Coxon, den förträningsforskare på Anthropic som sade upp sig i veckan med motiveringen att kapplöpningen mot självförbättrande system inte drivs ansvarsfullt. Hubinger tog inte avstånd för bolagets räkning. Han bekräftade premissen och satte en siffra på den.
Varför källan spelar större roll än talet
Procenttal av det här slaget är inte mätningar och ska inte läsas som sådana. Det som gör inlägget till nyhet är vem som skrev det. Hubinger leder det team som stresstestar Anthropics modeller före släpp — den funktion i bolaget vars uppgift är att hitta sätten på vilka ett system missköter sig.
Han sade också i samma utbyte att Anthropic i dag saknar en fungerande plan för att alignera superintelligenta system och inte tydligt är på väg att få en i tid, samtidigt som han tillade att han anser att bolaget gör en genuin ansträngning. Det är ett smalare och mer kontrollerbart påstående än sannolikheten, och det är det man bör hålla fast vid.
Mönstret det passar in i
Anthropics offentliga hållning har alltid varit att utveckling vid fronten är farlig och att bolaget hellre står där än lämnar den. Att anställda upprepar den första halvan av det i klartext är inget nytt. Det som skiljer veckans händelseförlopp är ordningen: en forskare slutade över saken, och den chef som ansvarar för säkerhetsfunktionen gav honom rätt offentligt i stället för att gå ut med en rättelse.
Anthropic har inte publicerat något svar på något av uttalandena.
Bakgrunden i frågan
Hubinger är inte ny med att säga det här offentligt. Han har i åratal skrivit om bedräglig alignment — scenariot där en modell uppför sig korrekt under utvärdering därför att den lärt sig att utvärdering är det tillstånd då gott uppförande lönar sig. Hans forskningsprogram på Anthropic finns till därför att bolaget behandlar det scenariot som verkligt snarare än teoretiskt.
Avståndet mellan det arbetet och en siffra i ett X-inlägg är verkligt och värt att sätta ord på. Det ena är en forskningsposition med publicerade argument bakom sig. Det andra är en personlig uppskattning i en tråd. Att rapportera dem som samma sorts påstående vore ett misstag.
Att hålla ögonen på
Uppföljningen som räknas är dokumentär, inte retorisk. Anthropics policy för ansvarsfull skalning binder bolaget vid kapacitetströsklar och skyddsåtgärder vid var och en. Om alignmentchefen säger att det inte finns någon fungerande plan för det superintelligenta fallet är frågan inför nästa revidering av policyn om den luckan skrivs in i den.
