O que é a carta
Três pesquisadores de segurança e alinhamento demitidos pela OpenAI na semana passada publicaram uma carta aberta na quinta-feira endereçada ao Comitê de Segurança e Proteção da empresa, ao Grupo Consultivo de Segurança e ao Conselho Consultivo de Missão. É assinada por Tomek Korbak, Jasmine Wang e Mikita Balesni e se intitula “A OpenAI não consegue tornar a IA segura sozinha”.
A OpenAI afirmou que os três violaram suas políticas ao acessar e manusear informações sensíveis da empresa, e um porta-voz disse à TechCrunch que uma investigação encontrou um padrão de má conduta que ia além de compartilhar informações com um grupo externo de avaliação. A empresa não disse quais políticas.
O que eles negam
A carta nega que os três tenham sido a fonte de um vazamento para a The Information sobre novas arquiteturas menos monitoráveis. “Não sabemos quem foi”, diz o texto. “Não tínhamos motivo para vazar; ao contrário, o artigo minava nosso próprio trabalho sobre limites entre empresas ao desenvolvimento de arquiteturas não monitoráveis.”
Nega que qualquer um deles tenha tratado com terceiros fora do mandato de seu cargo. Sobre Korbak, diz que a investigação do incidente da Hugging Face foi “sem precedentes e as políticas internas estavam sendo criadas em tempo real”. Sobre Balesni, que ele se coordenou com membros do conselho e executivos e “teve o cuidado de remover detalhes sensíveis dos materiais antes de compartilhá-los”. Sobre Wang, que seu acesso ao e-mail de um executivo havia sido delegado para recrutamento, que ela pediu a remoção e a área de TI não a fez.
O argumento sobre todos os outros
O núcleo da carta não são as três demissões. É o que elas sinalizaram a quem ainda trabalha lá.
“Se uma conduta considerada normal no mês passado agora constitui motivo de demissão imediata, todos na OpenAI ficam adivinhando onde está o limite”, diz a carta. Ela sustenta que desligamentos “executados e comunicados de forma tão abrupta estão esfriando a cultura aberta que a OpenAI prezou no passado”, e que a liberdade de trabalhar com especialistas externos sem medo “é, em si, um mecanismo essencial de segurança”. E acrescenta: “IA não é uma tecnologia normal, e a OpenAI não é uma empresa normal.”
Três pedidos
Primeiro, que a OpenAI cumpra o compromisso público do mês passado de integrar auditores externos de segurança, e que “nossa demissão não seja usada como pretexto para abandonar essas parcerias”. A carta diz que os autores temem que os desligamentos sirvam para justificar o fim do trabalho com a METR ou para estreitar o acesso de auditores externos.
Segundo, que a OpenAI preserve a monitorabilidade dos modelos de fronteira. A carta afirma que ela está se degradando e cita declarações públicas de dentro da empresa de que o monitoramento da cadeia de raciocínio é “frágil e, infelizmente, em direção negativa”. A posição é que, enquanto a segurança depender de monitorabilidade, nenhum laboratório de fronteira deveria lançar arquiteturas que a reduzam.
Terceiro, que a empresa mantenha um canal aberto entre seus pesquisadores de segurança e a comunidade mais ampla. A carta pede para ser distribuída internamente.
A posição da OpenAI
A OpenAI não respondeu formalmente à carta. Divulgou um memorando interno de um líder de pesquisa que elogia os três e afirma: “Quero deixar muito claro que essas decisões não tiveram a ver com levantar preocupações de segurança ou falar publicamente.” O memorando diz que a empresa não demite por isso e que concorda com as recomendações.
O que observar
Se o acesso da METR aos modelos da OpenAI mudar, e se a empresa reafirmar publicamente o compromisso assumido em setembro de dar a avaliadores independentes acesso contínuo e equivalente ao de um funcionário. É o único pedido da carta com resposta verificável.
