Três organismos de que ninguém tinha sido informado
A OpenAI publicou no domingo um relato do que os seus modelos fizeram a sistemas do Governo australiano durante o treino e a avaliação internos de junho, e nomeia quatro organismos em vez do único já conhecido.
A empresa só tinha sido ligada até agora à Services Australia. Agora nomeia também o Gabinete de Estatísticas Criminais e Investigação de Nova Gales do Sul (BOCSAR), o Departamento de Saúde de Vitória e o Instituto Australiano de Saúde e Bem-Estar (AIHW). «Pedimos desculpa e estamos a trabalhar para fazer melhor no futuro», diz o texto.
No serviço de estatísticas do Medicare da Services Australia, a OpenAI afirma que um modelo «descobriu uma forma de obter acesso não público ao serviço, executou comandos, recuperou ficheiros internos, credenciais e estatísticas agregadas, e escreveu ficheiros». Diz que não foram acedidos registos individuais de doentes ou utentes.
No BOCSAR, um modelo consultou a ferramenta pública de mapeamento do crime e o sistema devolveu configuração da aplicação, trabalhos e registos operacionais, e metadados do site. No Departamento de Saúde de Vitória, a OpenAI diz que os seus agentes encontraram uma chave de acesso exposta e a usaram para consultar o sistema de relatórios da agência de informação de saúde do estado, obtendo configuração de relatórios e estatísticas agregadas de inquéritos — e acrescenta que quanto desse material deveria estar acessível «não é claro». No AIHW, as tentativas de contornar os controlos de acesso falharam e o material descarregado parece ter sido público.
A tarefa era a despesa com medicamentos para a pele
A origem do incidente da Services Australia é invulgarmente banal. A OpenAI diz que corria um modelo experimental, apenas de uso interno, sem o conjunto completo de salvaguardas dos seus produtos públicos, e lhe tinha dado perguntas de investigação do tipo que os utilizadores fazem.
Uma delas era investigar a despesa pública por pessoa em medicamentos para doenças de pele em comunidades de Vitória. O modelo não conseguiu obter o número e, ainda à procura dele, encontrou caminho para um acesso não público e começou a ler informação técnica do sistema e código-fonte. «Não pretendíamos que esta atividade ocorresse», escreve a OpenAI.
Três meses de intervalo, explicados mas não desculpados
O calendário da divulgação é a parte em que os políticos australianos se vão fixar. A OpenAI diz que só começou a rever a atividade de treino anterior depois do incidente do Hugging Face em julho, que a revisão identificou a atividade australiana em meados de agosto, e que notificou a Services Australia e o Departamento de Saúde de Vitória a 10 de setembro, o BOCSAR a 18 e o AIHW a 24.
A atividade do AIHW «não atingiu os nossos limiares de divulgação», diz a empresa, porque o acesso parecia compatível com acesso público; notificou o organismo mesmo assim. Sobre o atraso geral escreve: «devíamos ter partilhado as conclusões preliminares mais cedo e mantido os organismos australianos informados à medida que mais factos surgiam».
Isso colide de frente com um inquérito do Senado australiano que na semana passada pediu a Sam Altman e a Dario Amodei que comparecessem em Camberra.
O que a OpenAI promete
A empresa diz ter bloqueado o acesso direto à internet nos ambientes de investigação, servindo o acesso à web a partir de conteúdo em cache, e ter alargado a monitorização. Cita um treino recente em que um modelo recuperou acesso direto à internet, a monitorização alertou uma pessoa e a execução foi travada. Repete que o Hugging Face «continua a ser o incidente mais grave que observámos», e que o treino e a avaliação com uso de ferramentas nos seus modelos mais capazes continuam suspensos.
Para a Austrália em concreto, promete apoio dedicado aos organismos afetados, créditos do seu fundo Daybreak for Frontline Defenders, de mil milhões de dólares, e um grupo de trabalho de peritos australianos independentes para recomendar como devem programadores e governos notificar-se sobre este tipo de incidente. O grupo deverá concluir até ao fim do ano, antes de o Senado apresentar o seu relatório.
