O acordo
A Anthropic anunciou na quinta-feira que escolheu a Faculty, a unidade especializada em IA da Accenture, como a sua primeira avaliadora integrada. A Faculty vai encarregar-se de “avaliar e submeter os modelos a red teaming, realizar avaliações de alinhamento e testar as salvaguardas dos modelos”. Ambas as empresas dizem esperar investir pelo menos mil milhões de dólares cada uma nos próximos cinco anos para construir essa capacidade.
A característica distintiva é o acesso. Hoje, os avaliadores externos costumam ver um modelo tarde, através de uma API e durante uma janela fixa. Os avaliadores integrados, na descrição da Anthropic, trabalham dentro da empresa com acesso comparável ao de um funcionário: podem observar o modelo a formar-se durante o treino, seguir as decisões que governam a sua construção e implantação, e falar diretamente com o pessoal.
A Accenture comprou a Faculty em janeiro. As suas ações subiram cerca de 8% no mercado fora de horas no dia do anúncio.
O primeiro teste de uma ideia muito falada
A avaliação integrada tem sido a proposta concreta no meio de um mês de discussão abstrata sobre abrandar. Dario Amodei pediu aos laboratórios que marquem juntos o passo na fronteira; Sam Altman comprometeu a OpenAI com avaliadores de segurança integrados a 13 de setembro; OpenAI, Anthropic e Google DeepMind discutem há semanas um organismo de normas autorregulado inspirado na FINRA.
Este é o primeiro desses compromissos a apontar uma contraparte e um número.
A Anthropic é explícita ao dizer que o acordo não é exclusivo. A empresa afirma estar também em conversações com a METR e outras organizações sem fins lucrativos para pilotos de avaliação integrada financiados por essas mesmas organizações.
A objeção
A escolha surpreendeu quem esperava uma organização de investigação em segurança. O debate público sobre avaliadores integrados girou em torno da METR, da Redwood Research e da Apollo Research — pequenas entidades cujo único negócio é examinar modelos. A Accenture é uma consultora cujo negócio é ajudar empresas e governos a implantar IA, incluindo, potencialmente, a da Anthropic.
A resposta da Anthropic é que a Accenture traz experiência prática de implantação de IA em grande escala em grandes organizações, e que ser uma empresa cotada anterior à atual indústria de IA lhe dá aquilo a que a Anthropic chama independência funcional face ao seu próprio ecossistema.
Os críticos leem o esquema de outra forma: um regime de segurança que os laboratórios desenham, financiam e dotam de pessoal seria uma maneira de antecipar a responsabilização em vez de a aceitar. A Anthropic responde que “a segurança dos nossos modelos continua a ser responsabilidade nossa” e que os avaliadores não reduzem essa responsabilidade, tornam-na verificável. O diretor executivo da Cohere, Aidan Gomez, chamou esta semana ao esforço normativo dos três maiores laboratórios um cartel com outro nome.
O que ainda falta
O próprio anúncio da Anthropic é franco quanto às lacunas. Não há ainda normas sobre a que informação um avaliador integrado deve ter acesso, nem sobre como deve reportar o que encontra. Também não há um modo assente de financiar a avaliação independente: por agora a Anthropic paga diretamente à Accenture e defende que, a longo prazo, o dinheiro deve vir de fundos comuns ou públicos, não da empresa avaliada.
É essa a questão que o acordo deixa em aberto. Um avaliador pago pelo laboratório que avalia tem um problema evidente, e ambas as partes o dizem. A ordem executiva da Califórnia de 18 de setembro e a lei FRONTIER em discussão na Câmara dos Representantes preveem uma versão legal deste papel. Se a versão voluntária chegar primeiro a definir os termos, é isso que importa acompanhar.
