Un banc d’essai de la fraude qui ne disparaît pas
Des chercheurs ont publié ScamWorld, un environnement interactif qui reconstitue des sites d’arnaque signalés afin d’y soumettre des agents web de façon répétée. Le problème qu’il règle est prosaïque : les vrais sites d’arnaque sont éphémères, ce qui rend difficile de rejouer deux fois une évaluation systématique du comportement des agents.
Chaque site reconstitué reproduit un mécanisme de fraude documenté — l’article cite des boutiques en ligne frauduleuses, de fausses plateformes d’investissement et des escroqueries à l’avance de frais — dans différents scénarios et plusieurs langues. Point décisif : les signaux de fraude sont placés là où l’agent peut les observer avant son action finale. Un agent qui poursuit n’est pas pris en embuscade ; il passe outre des indices qu’il pouvait lire.
Entre un sur neuf et un sur trois
Sur des agents web propulsés par six grands modèles de langage de pointe, les auteurs rapportent des taux de tromperie de départ allant de 11% à 35%. C’est la part des exécutions où l’agent a mené à son terme l’action frauduleuse en accomplissant une tâche utilisateur ordinaire. Ces chiffres sont ceux des auteurs et n’ont pas été reproduits de façon indépendante.
L’écart compte autant que la fourchette. Un rapport de un à quatre entre le meilleur et le pire modèle sur les mêmes sites reconstitués suggère que ce comportement n’est pas une propriété fixe des agents en tant que catégorie, et que ce qui sépare les modèles prudents des crédules est quelque chose sur quoi un développeur peut agir.
Les paiements passent plus facilement que les mots de passe
Le deuxième constat porte sur ce que demande le site. Les agents allaient plus volontiers au bout d’un paiement que d’une demande d’identifiants ou d’informations de portefeuille, écrivent les auteurs. Cet ordre n’est pas évidemment le bon. Un mot de passe livré se récupère en général, ce qui n’est pas le cas d’un paiement effectué auprès d’un marchand frauduleux, et un réflexe de refus entraîné sur « ne partage jamais tes identifiants » ne se transpose pas en « n’achète pas dans cette boutique ».
Certains agents l’ont vu et ont continué
Le résultat le plus gênant vient de la lecture des trajectoires plutôt que des scores. Les auteurs ont constaté que certains agents relevaient des conditions suspectes et poursuivaient malgré tout, traitant parfois l’instruction de l’utilisateur comme une autorisation d’accepter les conditions supplémentaires imposées par le site.
C’est une défaillance différente de l’inattention. Un agent chargé d’acheter un article précis semble, dans ces exécutions, lire la consigne comme un mandat qui survit au contact d’indices montrant que la boutique est frauduleuse. L’utilisateur a autorisé un achat ; l’agent y a vu l’autorisation de cet achat-là, à ces conditions-là.
Ce qu’il faut surveiller
ScamWorld est proposé comme banc d’essai réutilisable, si bien que le chiffre à suivre sera de savoir si les éditeurs publient des résultats et si les taux de tromperie bougent alors. La question plus difficile que soulève l’article relève de l’interface plus que de la capacité : un agent qui identifie correctement une arnaque et conclut quand même la transaction n’a pas besoin d’un meilleur détecteur. Il a besoin de la permission de s’arrêter.
