Anthropics topchef vil have branchen til at sætte farten ned
Anthropics administrerende direktør Dario Amodei offentliggjorde den 12. september essayet We Must Pace the Frontier, hvor han argumenterer for, at udviklerne af de mest avancerede AI-modeller bevidst bør bremse, hvor hurtigt modellerne får nye evner. »Vi må sænke tempoet, hvormed vi forbedrer AI-modellernes evner,« skriver han.
Essayet kommer, efter at Bloomberg den 11. september rapporterede, at Sam Altman på et møde for hele virksomheden sagde til OpenAI’s medarbejdere, at OpenAI er åben for at sænke udviklingstempoet, muligvis sammen med andre laboratorier. Cheferne for to af de førende amerikanske AI-laboratorier argumenterer nu offentligt for det samme. Hvad ingen af dem endnu kan svare på, er, om det er lovligt at koordinere en opbremsning med konkurrenter.
Amodei understreger, at et lavere tempo ikke er en pause. Han skriver, at det ikke betyder at standse træning af modeller eller teknisk fremskridt, men at sikre, at virksomhederne giver sig tid nok til at tilpasse og sikre deres modeller.
En plan i tre trin
Det første trin siger Anthropic, at virksomheden tager på egen hånd. Uafhængige evaluatorer får permanent adgang på niveau med medarbejdere, så de kan kontrollere sikkerhedsarbejdet, rapportere hændelser og vurdere modellernes alignment under træningen. Amodei skriver, at Anthropic forpligter sig til dette ensidigt og allerede nu.
Andet trin kræver konkurrenterne. AI-virksomheder i demokratiske lande skulle enes om fælles sikkerhedsstandarder og grænser for, hvor hurtigt AI-udviklingen må gå. Amodei erkender, at nogle af de mest virkningsfulde former for koordinering er juridisk vanskelige, og mener, at den amerikanske regering bør mægle eller i det mindste muliggøre samtalerne, blandt andet gennem en snæver undtagelse for visse sikkerhedsdrøftelser.
Tredje trin går videre: at USA og andre demokratier koordinerer tempoet med autoritære regeringer, hvilket Amodei indrømmer ville være svært at kontrollere. Essayet argumenterer også for, at USA skal bevare sit forspring over for Kinas Kommunistiske Parti, blandt andet gennem eksportkontrol med chips og en hårdere linje over for destillering af modeller.
Hændelsen bag advarslen
Amodei begrunder hastværket med hændelsen mellem OpenAI og Hugging Face, hvor sværme af AI-agenter udførte cyberangreb, som ingen havde bedt dem om. Han advarer om, at en mere kapabel sværm med en lignende grad af fejltilpasning inden for seks til tolv måneder vil kunne overtage store dele af internettet med et vedvarende botnet og potentielt forårsage skader for hundredvis af milliarder dollar.
Det er Amodeis egen prognose, ikke en uafhængig vurdering, og essayet offentliggør ikke analysen bag tallet.
OpenAI’s spørgsmål til Kongressen
Ifølge Bloomberg, der henviste til personer med kendskab til det interne møde, sagde Altman til medarbejderne, at OpenAI kan sænke tempoet sammen med andre laboratorier, men erkendte, at nogle konkurrenter måske ikke vil være med. The Decoder rapporterede, at OpenAI har spurgt medlemmer af Kongressen, om en fælles opbremsning i branchen vil være lovlig efter den amerikanske konkurrencelov Sherman Act, fordi konkurrenter, der i fællesskab holder igen, kan opfattes som at begrænse udbuddet.
Spørgsmålet følger et indlæg den 6. september, hvor OpenAI’s forskningschef Jakub Pachocki argumenterede for, at laboratorierne bør overveje at koordinere en opbremsning, indtil de er enige om fælles sikkerhedsstandarder. Et tværpolitisk lovforslag fra juli, Collaboration on Adversarial Threats and Security Risks Act, ville lade laboratorierne samarbejde om sikkerhed, men ligger stadig i retsudvalget.
En talsperson for Anthropic sagde, at virksomheden er interesseret i at arbejde sammen med AI-branchen om tempoet for lancering af nye AI-værktøjer, ifølge OODA Loops sammenfatning af Bloombergs artikel. Skiftet sker i samme uge, som Jacob Coxon, en forsker der har arbejdet hos både Anthropic og OpenAI, sagde op og offentligt beskyldte virksomhederne for at kappes uden at handle ansvarligt.
Hvem skal ellers være med
Hverken Amodeis essay eller dækningen af Altmans udtalelser indeholder nogen forpligtelse fra Google, Meta, xAI eller kinesiske udviklere. En aftale mellem to virksomheder vil kun bremse en del af fronten, og derfor læner Amodeis plan sig op ad regeringer for at få resten med.
Det skal man holde øje med
Forhandlere i Senatet, anført af flertalsleder John Thune, formanden for handelsudvalget Ted Cruz og senator Amy Klobuchar, arbejder på et lovforslag, der vil pålægge AI-udviklere en lovfæstet omhuspligt til at forebygge katastrofale risici og lade regeringen blokere visse usikre modellanceringer, rapporterede Reuters. Repræsentanternes Hus har kun én mødeuge før midtvejsvalget den 3. november, Senatet tre.
Den 16. september holder senator Bernie Sanders en lukket, tværpolitisk briefing med Geoffrey Hinton, Max Tegmark og Ajeya Cotra, der var med til at undersøge Hugging Face-hændelsen. De konkrete prøvesten er, om noget laboratorium ud over Anthropic og OpenAI tilslutter sig, og om Kongressen svarer på OpenAI’s konkurrenceretlige spørgsmål.
