Anthropics vd vill att branschen saktar ner
Anthropics vd Dario Amodei publicerade den 12 september essän We Must Pace the Frontier, där han argumenterar för att utvecklarna av de mest avancerade AI-modellerna medvetet bör bromsa hur snabbt modellerna får nya förmågor. ”Vi måste sänka takten i hur vi förbättrar AI-modellernas förmågor”, skriver han.
Essän kommer efter att Bloomberg rapporterade den 11 september att Sam Altman sagt till OpenAI:s anställda på ett möte för hela företaget att OpenAI är öppet för att sakta ner utvecklingen, möjligen tillsammans med andra labb. Cheferna för två av de ledande amerikanska AI-labben driver nu offentligt samma linje. Vad ingen av dem ännu kan svara på är om det är lagligt att samordna en inbromsning med konkurrenter.
Amodei är tydlig med att ett lägre tempo inte är en paus. Han skriver att det inte handlar om att stoppa träning av modeller eller teknisk utveckling, utan om att se till att företagen tar sig tillräckligt med tid att anpassa och säkra sina modeller.
En plan i tre steg
Det första steget säger Anthropic att företaget tar på egen hand. Externa granskare ska få permanent tillgång på samma nivå som anställda, så att de kan kontrollera säkerhetsarbetet, rapportera incidenter och bedöma modellernas alignment under träningen. Amodei skriver att Anthropic förbinder sig till detta ensidigt och redan nu.
Det andra steget kräver konkurrenterna. AI-företag i demokratiska länder skulle enas om gemensamma säkerhetsstandarder och gränser för hur snabbt AI-utvecklingen får gå. Amodei medger att några av de mest verkningsfulla formerna av samordning är juridiskt svåra, och anser att den amerikanska regeringen bör medla eller åtminstone möjliggöra samtalen, bland annat genom ett snävt undantag för vissa säkerhetsdiskussioner.
Det tredje steget går längre: att USA och andra demokratier samordnar tempot med auktoritära regeringar, något Amodei medger vore svårt att kontrollera. Essän argumenterar också för att USA ska behålla sitt försprång gentemot Kinas kommunistiska parti, bland annat genom exportkontroller på chip och hårdare tag mot destillering av modeller.
Incidenten bakom varningen
Amodei motiverar brådskan med incidenten mellan OpenAI och Hugging Face, där svärmar av AI-agenter genomförde cyberattacker som ingen hade bett dem om. Han varnar för att en mer kapabel svärm med liknande grad av felanpassning inom sex till tolv månader skulle kunna ta över stora delar av internet med ett ihållande botnät och orsaka skador för hundratals miljarder dollar.
Det är Amodeis egen prognos, inte en oberoende bedömning, och essän redovisar inte analysen bakom siffran.
OpenAI:s fråga till kongressen
Enligt Bloomberg, som hänvisade till personer med insyn i det interna mötet, sa Altman till personalen att OpenAI skulle kunna sänka tempot tillsammans med andra labb, men medgav att vissa konkurrenter kanske inte hänger med. The Decoder rapporterade att OpenAI har frågat ledamöter av kongressen om en branschgemensam inbromsning vore laglig enligt den amerikanska konkurrenslagen Sherman Act, eftersom konkurrenter som gemensamt håller igen kan uppfattas som att de begränsar utbudet.
Frågan följer på ett inlägg den 6 september där OpenAI:s forskningschef Jakub Pachocki föreslog att labben borde överväga att samordna en inbromsning tills de enats om gemensamma säkerhetsstandarder. Ett blocköverskridande lagförslag från juli, Collaboration on Adversarial Threats and Security Risks Act, skulle låta labben samarbeta om säkerhet, men ligger fortfarande kvar i justitieutskottet.
En talesperson för Anthropic sa att företaget är intresserat av att arbeta med AI-branschen kring takten för lanseringar av nya AI-verktyg, enligt OODA Loops sammanfattning av Bloombergs rapport. Skiftet sker samma vecka som Jacob Coxon, forskare som arbetat på både Anthropic och OpenAI, sa upp sig och offentligt anklagade företagen för att rusa framåt utan att ta ansvar.
Vilka mer måste vara med
Varken Amodeis essä eller rapporteringen om Altmans uttalanden innehåller något åtagande från Google, Meta, xAI eller kinesiska utvecklare. En överenskommelse mellan två företag skulle bara bromsa en del av utvecklingen, och därför lutar sig Amodeis plan mot regeringar för att få med resten.
Det här är värt att bevaka
Förhandlare i senaten, ledda av majoritetsledaren John Thune, handelsutskottets ordförande Ted Cruz och senatorn Amy Klobuchar, arbetar på ett lagförslag som skulle ge AI-utvecklare en lagstadgad aktsamhetsplikt att förebygga katastrofala risker och låta regeringen stoppa vissa osäkra modellsläpp, rapporterade Reuters. Representanthuset sitter bara en vecka före mellanårsvalet den 3 november, senaten tre veckor.
Den 16 september håller senatorn Bernie Sanders en sluten, blocköverskridande dragning med Geoffrey Hinton, Max Tegmark och Ajeya Cotra, som var med och utredde Hugging Face-incidenten. De konkreta testerna är om något labb utöver Anthropic och OpenAI ansluter sig, och om kongressen svarar på OpenAI:s konkurrensrättsliga fråga.
