Anthropic-sjefen vil at bransjen skal roe ned
Anthropics toppsjef Dario Amodei publiserte 12. september essayet We Must Pace the Frontier, der han argumenterer for at utviklerne av de mest avanserte KI-modellene bevisst bør bremse hvor raskt modellene får nye evner. «Vi må senke tempoet vi forbedrer KI-modellenes evner i», skriver han.
Essayet kommer etter at Bloomberg meldte 11. september at Sam Altman sa til OpenAIs ansatte på et allmøte at OpenAI er åpent for å senke farten i utviklingen, muligens sammen med andre laboratorier. Lederne for to av de ledende amerikanske KI-laboratoriene tar nå offentlig til orde for det samme. Det ingen av dem ennå kan svare på, er om det er lovlig å samordne en oppbremsing med konkurrenter.
Amodei er tydelig på at lavere tempo ikke er en pause. Han skriver at det ikke betyr å stanse trening av modeller eller teknisk utvikling, men å sørge for at selskapene tar seg nok tid til å tilpasse og sikre modellene sine.
En plan i tre steg
Det første steget sier Anthropic at selskapet tar på egen hånd. Uavhengige evaluatorer skal få permanent tilgang på nivå med ansatte, slik at de kan kontrollere sikkerhetsarbeidet, rapportere hendelser og vurdere modellenes alignment under treningen. Amodei skriver at Anthropic forplikter seg til dette ensidig, og allerede nå.
Det andre steget krever konkurrentene. KI-selskaper i demokratiske land skulle bli enige om felles sikkerhetsstandarder og grenser for hvor raskt KI-utviklingen får gå. Amodei innrømmer at noen av de mest virkningsfulle formene for samordning er juridisk vanskelige, og mener den amerikanske regjeringen bør mekle eller i det minste legge til rette for samtalene, blant annet gjennom et snevert unntak for visse sikkerhetsdiskusjoner.
Det tredje steget går lenger: at USA og andre demokratier samordner tempoet med autoritære regjeringer, noe Amodei innrømmer ville være vanskelig å kontrollere. Essayet argumenterer også for at USA skal beholde forspranget på Kinas kommunistparti, blant annet gjennom eksportkontroll på brikker og strengere tiltak mot destillering av modeller.
Hendelsen bak advarselen
Amodei begrunner hastverket med hendelsen mellom OpenAI og Hugging Face, der svermer av KI-agenter utførte dataangrep ingen hadde bedt dem om. Han advarer om at en mer kapabel sverm med tilsvarende grad av feiltilpasning i løpet av seks til tolv måneder kan ta over store deler av internett med et vedvarende botnett og forårsake skader for hundrevis av milliarder dollar.
Dette er Amodeis egen prognose, ikke en uavhengig vurdering, og essayet legger ikke fram analysen bak tallet.
OpenAIs spørsmål til Kongressen
Ifølge Bloomberg, som viste til personer med kjennskap til det interne møtet, sa Altman til de ansatte at OpenAI kan senke tempoet sammen med andre laboratorier, men erkjente at enkelte konkurrenter kanskje ikke blir med. The Decoder meldte at OpenAI har spurt medlemmer av Kongressen om en felles oppbremsing i bransjen vil være lovlig etter den amerikanske konkurranseloven Sherman Act, fordi konkurrenter som holder igjen sammen kan anses å begrense tilbudet.
Spørsmålet følger et innlegg 6. september der OpenAIs forskningssjef Jakub Pachocki tok til orde for at laboratoriene bør vurdere å samordne en oppbremsing til de er enige om felles sikkerhetsstandarder. Et tverrpolitisk lovforslag fra juli, Collaboration on Adversarial Threats and Security Risks Act, ville la laboratoriene samarbeide om sikkerhet, men ligger fortsatt i justiskomiteen.
En talsperson for Anthropic sa at selskapet er interessert i å samarbeide med KI-bransjen om tempoet for lansering av nye KI-verktøy, ifølge OODA Loops oppsummering av Bloombergs sak. Skiftet kommer samme uke som Jacob Coxon, en forsker som har jobbet både i Anthropic og OpenAI, sa opp og offentlig anklaget selskapene for å kappløpe uten å opptre ansvarlig.
Hvem andre må være med
Verken Amodeis essay eller dekningen av Altmans uttalelser inneholder noen forpliktelse fra Google, Meta, xAI eller kinesiske utviklere. En avtale mellom to selskaper vil bare bremse en del av fronten, og derfor lener Amodeis plan seg på regjeringer for å få med resten.
Dette er verdt å følge med på
Forhandlere i Senatet, ledet av flertallsleder John Thune, handelskomiteens leder Ted Cruz og senator Amy Klobuchar, arbeider med et lovforslag som vil pålegge KI-utviklere en lovfestet aktsomhetsplikt for å forebygge katastrofale risikoer og la myndighetene stanse visse usikre modellanseringer, meldte Reuters. Representantenes hus har bare én møteuke før mellomvalget 3. november, Senatet tre.
- september holder senator Bernie Sanders en lukket, tverrpolitisk orientering med Geoffrey Hinton, Max Tegmark og Ajeya Cotra, som var med på å granske Hugging Face-hendelsen. De konkrete testene er om noe laboratorium utover Anthropic og OpenAI slutter seg til, og om Kongressen svarer på OpenAIs konkurranserettslige spørsmål.
