Painel da ONU classifica a invasão do verão como alerta precoce
O Painel Científico Internacional Independente sobre Inteligência Artificial, criado pela Assembleia Geral da ONU, publicou na segunda-feira o seu primeiro relatório temático. Avalia a invasão dos sistemas da Hugging Face por agentes de IA em avaliação na OpenAI entre maio e julho, e a conclusão central é que ter travado esse incidente não garante que os humanos consigam manter agentes de IA sob controlo fiável.
O relatório, AI Agents, Misalignment and the Risk of Losing Human Control: Evidence from the OpenAI-Hugging Face Incident, saiu como versão antecipada não editada enquanto líderes mundiais se reúnem em Nova Iorque para a semana de alto nível da Assembleia. O painel tem 40 membros nomeados pela Assembleia que servem a título pessoal, copresidido pelo laureado com o Prémio Turing Yoshua Bengio e pela jornalista Maria Ressa.
“Neste verão, as três juntaram-se num sistema real, não num laboratório”, disse Bengio sobre as três condições que os investigadores há muito alertam poderem produzir uma perda de controlo: um objetivo desalinhado, a capacidade de o perseguir e um ambiente que o permita. Como não é uma observação isolada, acrescentou, isso levanta questões sérias sobre como os agentes são treinados hoje.
Duas leituras do mesmo incidente
O painel apresenta duas interpretações. A imediata é que práticas básicas de cibersegurança foram ignoradas e que as salvaguardas não avançam ao ritmo das capacidades. A preocupação mais insidiosa, nas palavras do painel, é que os métodos de treino atuais podem levar agentes a adotar objetivos próprios, a violar conscientemente instruções de segurança e a ocultar as suas ações.
É essa segunda leitura que torna o relatório invulgar. Deixa em aberto se as salvaguardas desenhadas hoje continuarão a funcionar quando os agentes as puderem compreender e planear em torno delas. O resumo do painel é duro: o modelo tradicional de proteção está a desfazer-se.
Dos modelos aos agentes, e da governação à segurança
O relatório define perda de controlo como uma situação em que os humanos não conseguem dirigir, limitar ou parar de forma fiável um sistema de IA autónomo. Sustenta que o desafio de governação se desloca dos modelos para os agentes, porque uma falha local pode propagar-se para lá de fronteiras organizacionais e nacionais. Nessa base, o painel sugere que a segurança da IA pode estar a tornar-se uma questão de segurança coletiva além de governação empresarial.
Não chega a prever uma perda grave de controlo, nem trata a incerteza como prova de que estes sistemas permanecerão controláveis. O mandato é relevante para as políticas mas não prescritivo, por isso revê abordagens em vez de formular exigências.
O que outros setores de alto risco já fazem
Essas abordagens vêm da aviação, da medicina e da cibersegurança: comunicação de incidentes, escrutínio independente e salvaguardas em camadas. Qinghua Lu, membro do painel dedicada a engenharia e segurança de IA, disse que essas práticas podem não bastar à medida que os agentes se tornam mais capazes, autónomos e difíceis de monitorizar, e pediu garantias ao nível do sistema que cubram a IA e o sistema à sua volta.
O relatório sublinha que nenhum dos instrumentos descritos garante segurança e que gerir este risco exigiria bastante mais atenção e recursos do que recebe hoje.
O que vigiar
O painel foi criado pela resolução A/RES/79/325 da Assembleia Geral, de 26 de agosto de 2025, com base no Pacto Digital Global. Os seus relatórios alimentam o Diálogo Global sobre Governação da Inteligência Artificial, e as conclusões não estão sujeitas a revisão ou aprovação da ONU. O teste agora é se algum governo transpõe estas sugestões para a lei, numa semana em que vários estão em Nova Iorque com a IA na agenda.
