Desligar por omissão
Quatrocentos e seis cientistas assinaram uma carta aberta que pede a todas as organizações que desenvolvem, implementam ou testam modelos de IA com capacidade ciberofensiva que os mantenham atrás de um isolamento físico, e que tratem a desconexão da internet como ponto de partida e não como último recurso.
A carta foi publicada este mês com o título “An Open Letter on AI and Cybersecurity from the Scientific Community”. Começa pelos incidentes que a motivaram: “Multiple organizations have disclosed high-profile security failures: their AI models bypassed insufficiently sandboxed environments to compromise the systems of external organizations.”
Os signatários não resolvem a discussão sobre o que significam essas falhas. Uma leitura, dizem, é que demonstram a importância do trabalho de alinhamento. A outra é que foram “an irresponsible lapse in standard cybersecurity practices, preventable with stronger sandboxes and procedures”. A resposta da carta é que ambas as leituras se sustentam e que, sem mudanças imediatas nas práticas de desenvolvimento e implementação, os incidentes vão repetir-se e serão muito mais danosos para as infraestruturas críticas expostas.
Três recomendações
A primeira é imediata e dirige-se aos laboratórios. As organizações que trabalham com modelos ciberofensivos “should immediately adopt high-assurance containment systems” e “should exercise caution, and initially default to airgapping cyber-capable models”. A carta explica o isolamento, entre parênteses, como “disconnecting from the internet”.
A segunda é institucional. Em consulta com os governos e com especialistas tanto de IA como de cibersegurança, os signatários querem a criação de um organismo internacional que normalize as melhores práticas de alinhamento e de contenção que, ao contrário do isolamento físico, permitam maior acesso fora do ambiente fechado, incluindo a ligação à internet. Esse organismo deveria ainda ter o mandato de registar e acompanhar as falhas de contenção.
A terceira fecha o ciclo. Os incidentes de segurança que envolvam falha de contenção “must be reported to the body and eventually made public”, porque essa transparência é necessária tanto para aprender como para responsabilizar.
O que a carta não faz é nomear uma empresa. Descreve as divulgações no conjunto e deixa a atribuição ao leitor.
Quem assinou, e porque isso importa
A lista de assinaturas chega a 406 nomes em instituições de 34 países, com os maiores grupos nos Estados Unidos, no Canadá e no Reino Unido. O invulgar é a mistura. A comunidade de segurança da IA está lá — Yoshua Bengio, Geoffrey Hinton e Stuart Russell, como notou o The Decoder — mas também um contingente grande da criptografia académica e da segurança de sistemas, incluindo Dan Boneh, de Stanford, e Srini Devadas, do MIT.
Essa combinação é o argumento implícito do texto. Trata a contenção como um problema de engenharia de segurança pelo menos tanto como de alinhamento, e sustenta que decidir quanto acesso à internet um modelo deve ter exigirá colaboração entre as duas comunidades.
O que observar
A carta não fixa prazo nem indica um foro para o organismo internacional que reclama, o que reduz as recomendações institucionais a uma indicação de rumo em vez de um pedido com data.
A recomendação imediata é outra coisa, e é a caríssima. Um modelo que não alcança a internet não pode ser avaliado em tarefas que exigem internet — precisamente a classe de tarefas que torna um modelo ciberofensivo. O primeiro teste real da carta é saber se algum desenvolvedor de um modelo de fronteira anuncia por iniciativa própria o isolamento por omissão, antes de um governo o pedir.
