O argumento começa com uma admissão
Numa publicação de sábado à tarde, intitulada “Models as Insider Risks in the Super Intelligence Era” (“Os modelos como riscos internos na era da superinteligência”), o presidente executivo da Microsoft, Satya Nadella, defendeu que as organizações que instalam modelos de fronteira deviam pedir emprestados os controlos que já aplicam às pessoas poderosas dentro do edifício, e deixar de tratar as garantias de um fornecedor como substituto das suas.
O argumento abre com algo que hoje ninguém consegue fazer. Com o software convencional, escreveu Nadella, “tínhamos as ferramentas e a capacidade de rastrear comportamentos até um caminho de código concreto”. Com os modelos de fronteira, “não conseguimos atribuir os comportamentos e as saídas do modelo a entradas concretas dos dados de treino nem a configurações de pesos” — e ainda assim, escreveu, esses modelos são instalados “com acesso aos nossos dados mais sensíveis e com a capacidade de tomar ações críticas em nosso nome”.
A sua conclusão é uma transferência de responsabilidade, não de confiança. “Simplesmente não podemos externalizar a responsabilidade pelo que a inteligência faz em nosso nome”, escreveu. “As garantias de um fornecedor de modelos não nos libertam dessa responsabilidade.” A fórmula que usa para o objetivo de desenho é que “temos de separar o fornecimento de inteligência da autoridade sobre ela”.
Porque é que os controlos têm de ficar fora do modelo
A objeção de Nadella à solução óbvia — pôr um modelo a vigiar outro — é que não reduz a opacidade, empilha-a. “Pode-se e deve-se usar modelos para se testarem e verificarem mutuamente de forma adversarial”, escreveu. “Mas então acaba-se com um modelo opaco dentro de uma camada de orquestração opaca, vigiado por outro modelo opaco. Essencialmente, caixas negras encaixadas.”
A alternativa a que recorre é mais antiga do que a área. Os controlos que regem aquilo a que um modelo acede e o que pode fazer “têm de ficar fora do modelo”, por causa de “um princípio de segurança da informação que remonta aos anos setenta: um programa não deve poder contornar nem adulterar os mecanismos que fazem cumprir as suas permissões”. Na prática, isso significa separar o modelo do arnês que orquestra o seu trabalho e do espaço de ações que define o que pode fazer.
Fixou também um mínimo de transparência do raciocínio, e nomeou aquilo que não quer ver usado como desculpa. A transparência da cadeia de raciocínio é “inegociável”, escreveu, e “o ‘neuralês’ não pode justificar que o raciocínio do modelo seja opaco” — admitindo embora que a transparência sozinha não é de fiar, porque “ainda não sabemos como fazer com que as saídas dos modelos sejam consistentemente fiéis ou transparentes”.
Sete princípios, incluindo o travão
A publicação enumera sete princípios de desenho. Diversidade de modelos: nenhum modelo deve ser a única dependência de um resultado importante, nem verificar o seu próprio trabalho. Observar tudo: “Toda a ação significativa do modelo tem de deixar prova legível por humanos e à prova de adulteração.” Verificabilidade: testar o sistema inteiro, incluindo falhas, ataques e casos-limite, e não só as tarefas bem-sucedidas. Controlos independentes: uma organização deve poder decidir por si a que chega um modelo e o que faz. Auditabilidade independente: “Nenhum modelo deve controlar ao mesmo tempo o comportamento de um sistema e a prova necessária para determinar se esse comportamento corresponde à intenção original.”
Depois a contenção, que é a linha que foi mais longe. “Temos de assumir que um modelo está comprometido e contê-lo desde o início”, escreveu Nadella. “Pensem nisso como um travão de emergência. Uma pessoa autorizada deve poder sempre pausar ou desligar um modelo a meio de uma tarefa.” Os modelos mais capazes, acrescentou, exigirão tecnologias de contenção que o setor terá de normalizar.
O sétimo é a divulgação de incidentes: quando estes sistemas falham ou são comprometidos, é preciso “divulgação atempada aos afetados” e uma forma de partilhar o que correu mal, que controlos cederam e como evitar a repetição — incluindo, precisou, os detalhes de implementação que alteram o comportamento dos agentes em tempo de execução.
O que observar
Nadella não comprometeu a Microsoft com nada de concreto, e os princípios estão formulados como argumento, não como roteiro de produto ou norma. O que os torna ainda assim dignos de leitura é quem os formula e a direção que apontam: afastar-se da pergunta sobre se se pode confiar num dado modelo, e construir sistemas que não precisem disso. A sua frase final di-lo sem rodeios: “O sistema de superinteligência mais fiável não será aquele com o modelo em que mais confiamos. Será aquele que nos permite confiar o menos possível no modelo.”
Dois dos sete — a observabilidade e a divulgação de incidentes — são também objeto de disputas políticas em curso. Se a Microsoft os defender nesses fóruns, e não apenas no mural do seu presidente executivo, é o que há a observar a seguir.
