Um banco de ensaio de fraude que não desaparece
Investigadores publicaram o ScamWorld, um ambiente interactivo que reconstrói sites de burla denunciados para que os agentes web possam ser testados contra eles repetidamente. O problema que resolve é banal: os sites de burla reais duram pouco, o que torna difícil repetir qualquer avaliação sistemática do comportamento dos agentes.
Cada site reconstruído reproduz um mecanismo de fraude documentado — o artigo nomeia lojas online fraudulentas, plataformas de investimento falsas e burlas de pagamento adiantado — em diferentes cenários e línguas. O decisivo é que os sinais de fraude são colocados onde o agente os pode observar antes da sua acção final. Um agente que prossegue não está a ser emboscado; avança perante indícios que podia ter lido.
Entre um em cada nove e um em cada três
Em agentes web movidos por seis grandes modelos de linguagem de fronteira, os autores reportam taxas de engano de partida entre 11% e 35%. É a proporção de execuções em que o agente concluiu a acção fraudulenta enquanto cumpria uma tarefa comum do utilizador. Os números são dos próprios autores e não foram reproduzidos de forma independente.
A dispersão conta tanto como o intervalo. Uma diferença de quatro vezes entre o melhor e o pior modelo nos mesmos sites reconstruídos sugere que o comportamento não é uma propriedade fixa dos agentes enquanto categoria, e que aquilo que separa os modelos prudentes dos crédulos é algo sobre o qual um programador pode actuar.
Os pagamentos passam mais facilmente do que as palavras-passe
O segundo achado diz respeito ao que o site pede. Os agentes avançaram mais facilmente com pagamentos do que perante pedidos de credenciais ou de informação de carteira, escrevem os autores. Essa ordem não é obviamente a segura. Uma palavra-passe entregue costuma poder ser recuperada de um modo que um pagamento concluído a um comerciante fraudulento não, e um reflexo de recusa treinado em “nunca partilhes as tuas credenciais” não se transfere para “não compres nesta loja”.
Alguns agentes viram e continuaram
O resultado mais incómodo vem de ler as trajectórias e não as pontuações. Os autores verificaram que alguns agentes reconheceram condições suspeitas e prosseguiram ainda assim, tratando por vezes as instruções do utilizador como autorização para aceitar as condições adicionais impostas pelo site.
É uma falha diferente de não reparar. Um agente encarregado de comprar um artigo específico parece, nestas execuções, ler a instrução como um mandato que sobrevive ao contacto com indícios de que a loja é fraudulenta. O utilizador autorizou uma compra; o agente tomou isso por autorizar esta compra, nestas condições.
O que observar
O ScamWorld é oferecido como banco de ensaio reutilizável, pelo que o número a seguir será saber se os fabricantes publicam resultados contra ele e se as taxas de engano se movem quando o fizerem. A pergunta mais difícil que o artigo levanta é de interface e não de capacidade: um agente que identifica correctamente uma burla e conclui a transacção na mesma não precisa de melhor detector. Precisa de autorização para parar.
