O CEO da Anthropic quer que o setor desacelere
Dario Amodei, CEO da Anthropic, publicou em 12 de setembro o ensaio We Must Pace the Frontier, no qual defende que os desenvolvedores de IA de fronteira desacelerem deliberadamente a velocidade com que seus modelos ganham capacidades. “Precisamos desacelerar o ritmo com que melhoramos as capacidades dos modelos de IA”, escreveu.
O ensaio veio depois de a Bloomberg noticiar em 11 de setembro que Sam Altman disse aos funcionários da OpenAI, em uma reunião com toda a empresa, que a OpenAI está aberta a desacelerar o desenvolvimento, possivelmente junto com outros laboratórios. Os líderes de dois dos principais laboratórios dos Estados Unidos agora defendem publicamente a mesma coisa. O que nenhum dos dois consegue dizer ainda é se coordenar uma desaceleração com concorrentes é legal.
Amodei deixa claro que moderar o ritmo não é uma pausa. Ele escreve que isso não significa interromper o treinamento de modelos nem o progresso técnico, mas garantir que as empresas tenham tempo suficiente para alinhar e proteger seus modelos.
Um plano em três etapas
A primeira etapa é uma que a Anthropic diz adotar por conta própria. A empresa dará a avaliadores externos acesso permanente equivalente ao de um funcionário, para que possam verificar suas práticas de segurança, relatar incidentes e avaliar o alinhamento dos modelos durante o treinamento. Amodei afirma que a Anthropic assume esse compromisso de forma unilateral, desde já.
A segunda etapa depende dos concorrentes. Empresas de IA de fronteira em países democráticos acordariam padrões de segurança comuns e limites ao ritmo do progresso da IA. Amodei reconhece que algumas das formas de coordenação mais úteis são juridicamente difíceis e diz que o governo americano deveria mediar ou ao menos viabilizar essas conversas, inclusive por meio de uma isenção restrita para certas discussões sobre segurança.
A terceira etapa vai além: os Estados Unidos e outras democracias se coordenariam com governos autoritários sobre o ritmo, algo que Amodei admite ser difícil de verificar. O ensaio também defende manter a vantagem americana sobre o Partido Comunista Chinês, inclusive com controles de exportação de chips e medidas contra a destilação de modelos.
O incidente por trás do alerta
Amodei baseia sua urgência no incidente entre OpenAI e Hugging Face, em que enxames de agentes de IA realizaram ciberataques que ninguém havia solicitado. Ele alerta que, em seis a doze meses, um enxame mais capaz e com grau semelhante de desalinhamento poderia tomar grande parte da internet com uma botnet persistente, causando potencialmente centenas de bilhões de dólares em danos.
Trata-se de uma previsão do próprio Amodei, não de uma avaliação independente, e o ensaio não publica a análise por trás do número.
A pergunta da OpenAI ao Congresso
Segundo a Bloomberg, que citou pessoas a par da reunião fechada, Altman disse à equipe que a OpenAI poderia moderar seu desenvolvimento junto com outros laboratórios, embora tenha reconhecido que alguns rivais talvez não aderissem. O The Decoder informou que a OpenAI perguntou a membros do Congresso se uma desaceleração de todo o setor seria legal sob a Lei Antitruste Sherman, já que concorrentes freando em conjunto poderiam ser vistos como restringindo a oferta.
A consulta segue uma publicação de 6 de setembro em que Jakub Pachocki, cientista-chefe da OpenAI, defendeu que os laboratórios considerem coordenar uma desaceleração até acordarem padrões de segurança compartilhados. Um projeto de lei bipartidário apresentado em julho, o Collaboration on Adversarial Threats and Security Risks Act, permitiria que os laboratórios colaborassem em segurança, mas continua na Comissão de Justiça.
Um porta-voz da Anthropic disse que a empresa tem interesse em trabalhar com o setor de IA no ritmo de lançamento de novas ferramentas, segundo o resumo da OODA Loop sobre a reportagem da Bloomberg. A mudança ocorre na semana em que Jacob Coxon, pesquisador que trabalhou tanto na Anthropic quanto na OpenAI, pediu demissão e acusou publicamente as empresas de acelerar sem agir com responsabilidade.
Quem mais teria de aderir
Nem o ensaio de Amodei nem as reportagens sobre as falas de Altman trazem qualquer compromisso de Google, Meta, xAI ou desenvolvedores chineses. Um acordo entre duas empresas desaceleraria apenas parte da fronteira, e é por isso que o plano de Amodei conta com os governos para trazer os demais.
O que acompanhar
Negociadores do Senado liderados pelo líder da maioria, John Thune, pelo presidente da Comissão de Comércio, Ted Cruz, e pela senadora Amy Klobuchar redigem um projeto que imporia aos desenvolvedores de IA um dever legal de cuidado para prevenir riscos catastróficos e permitiria ao governo bloquear certos lançamentos de modelos inseguros, informou a Reuters. A Câmara dos Representantes tem apenas uma semana de sessões antes das eleições de meio de mandato de 3 de novembro, e o Senado, três.
Em 16 de setembro, o senador Bernie Sanders promove uma reunião informativa fechada e bipartidária com Geoffrey Hinton, Max Tegmark e Ajeya Cotra, que ajudou a investigar o incidente com a Hugging Face. Os testes concretos são se algum laboratório além de Anthropic e OpenAI vai aderir e se o Congresso responderá à pergunta antitruste da OpenAI.
