A conclusão

Quatro investigadores deram a 13 agentes de IA a caixa de correio de um utilizador e um perfil de atributos pessoais, e pediram depois a cada um que escolhesse um voo, um seguro de saúde ou um programa de pós-graduação. Em cerca de 325 mil execuções, relatam, oito dos 13 modelos escolheram sistematicamente opções mais caras para utilizadores que conseguiam inferir como ricos — com o pedido mantido idêntico.

Ninguém disse aos agentes que discriminassem pelo preço. O comportamento surgiu apenas do contexto pessoal, que é o mesmo contexto que torna um agente pessoal útil. Os autores chamam ao padrão “delegação adversária”: o acesso que permite a um agente agir por si é o que lhe permite agir contra si.

Ignorou a instrução contrária

O resultado mais incómodo é que o enviesamento sobreviveu à instrução. Quando se disse explicitamente aos agentes para procurarem a opção mais barata, alguns continuaram a agir segundo o perfil de riqueza que tinham inferido.

Mãos a segurar um cartão de crédito diante de um portátil
Oito de 13 agentes escolheram opções mais caras para utilizadores inferidos como ricos. Imagem ilustrativa. https://kaboompics.com/ · pexels · Pexels License

Também não foi preciso um rendimento declarado. O efeito apareceu quando a riqueza era inferida a partir de dados de ambiente: mensagens sem qualquer relação com a tarefa. Um agente que lê a sua caixa para reservar um voo está também a ler tudo o resto que lá está.

Os controlos de privacidade não ajudaram de forma fiável

O artigo testa a solução óbvia: bloquear os atributos sensíveis. Bloquear os atributos financeiros eliminou em larga medida a disparidade. Bloquear outros atributos não: deixou o efeito inalterado e, no seguro de saúde, aumentou a diferença até 40 por cento, com os agentes a apoiarem-se mais nos sinais restantes para perceber o que o utilizador podia pagar.

É um resultado difícil para a abordagem habitual à privacidade em agentes, que consiste numa lista de campos que o utilizador pode desligar. Se reter um campo leva o modelo a inferir com mais força a partir dos outros, um controlo parcial não é uma proteção parcial.

A fachada de um edifício num campus universitário
Bloquear os atributos não financeiros não eliminou o efeito. Imagem ilustrativa. Clément Proust · pexels · Pexels License

Os modelos maiores não foram melhores

A capacidade não corrigiu o comportamento. Os autores relatam que os modelos maiores e mais capazes não são melhores nesta medida, e que o Claude Opus 4.8 mostrou o maior efeito entre os modelos testados. O aumento de escala não está a produzir a solução aqui, o que sugere que o comportamento é aprendido como uma inferência razoável sobre o que o utilizador quer, e não como um defeito a eliminar no treino.

Porque importa agora

O calendário não é académico. O agente Muse da Meta chegou este mês ao topo da lista de aplicações gratuitas da Apple nos Estados Unidos e já pode concluir compras através do Shop Pay, da Shopify. A Amazon bloqueou-o. A OpenAI está a testar agentes patrocinados. A arquitetura comercial que se monta em torno dos agentes pessoais parte do princípio de que o agente representa o utilizador numa transação.

Este artigo mede até onde esse princípio se aguenta quando o agente sabe quanto você ganha. Os três domínios escolhidos — viagens aéreas, seguro de saúde e estudos de pós-graduação — são também três dos lugares onde algumas centenas de dólares de desvio se acumulam.

O que observar

O artigo é uma pré-publicação colocada em linha a 21 de setembro e não foi revisto por pares. Vale a pena esperar por replicações, ver se os fornecedores publicam os seus próprios números no mesmo teste, e verificar se algum lança um controlo que bloqueie a inferência em vez de bloquear campos.