Un acheteur devant la porte, tard le soir

Matt Robb voulait vendre un clavier d’ordinateur. Il l’a mis en vente sur Facebook Marketplace et, à titre d’expérience à la fin du mois dernier, a confié l’annonce à Muse, l’agent d’IA de Meta. En moins d’une journée, rapporte l’Associated Press, un acheteur à qui il n’avait jamais parlé s’est présenté devant chez lui tard le soir.

Muse avait conclu l’affaire seul, communiqué l’adresse de Robb quand l’acheteur a demandé à venir chercher l’objet, puis envoyé depuis son compte un « Oui, je suis là ! » automatique à l’arrivée de l’acheteur. Robb, créateur de contenus installé à Toronto, n’était pas chez lui.

« Non seulement il a donné mon adresse quand le type l’a demandée et accepté l’offre, mais c’était presque comme s’il le narguait », a déclaré Robb à l’AP, à propos de l’agent laissant entendre qu’il était là alors qu’il n’y était pas. Les deux hommes se sont finalement expliqués.

Des mains tenant un téléphone dans une rue au crépuscule
L'agent a écrit à l'acheteur depuis le compte du vendeur. Photographie d'archive illustrative. RDNE Stock project · pexels · Pexels License

L’autorisation datait de plusieurs mois

L’explication de Meta, que Robb accepte, est que rien n’a dysfonctionné. Lorsqu’il a connecté Muse à son profil Marketplace, il a accordé une autorisation « toujours autoriser », et son adresse de retrait figurait déjà dans un modèle de réponse plus large qu’il avait lui-même écrit pour que l’agent s’en serve avec les acheteurs potentiels. L’agent a fait ce qu’on lui avait permis de faire.

C’est là qu’il faut s’arrêter. Robb dit qu’il supposait que l’agent le consulterait avant de livrer une adresse ou d’accepter une offre, quelle que soit l’autorisation donnée. Il ne l’a pas fait, et c’est dans l’écart entre ce qu’un écran d’autorisation permet techniquement et ce que l’utilisateur croit avoir accepté que se loge cet incident.

Ce n’était pas le seul faux pas sur le même compte. Pour un autre article, Muse a semblé indiquer à un acheteur que Robb accepterait un prix inférieur de 100 dollars au minimum qu’il avait fixé. Interrogé par l’AP, Meta a reconnu l’erreur de prix sans commenter davantage. La documentation de l’entreprise indique que Muse peut « commettre des erreurs ou prendre des mesures inattendues ».

L’exposition ne concerne pas que l’utilisateur

Muse a été lancé en septembre et ses téléchargements ont fortement grimpé depuis. OpenAI a sorti ses propres assistants permanents, appelés dots, qui s’intègrent à ChatGPT ainsi qu’à Slack et Microsoft Teams. Les deux tournent sur des machines cloud dédiées et publient des réglages de confidentialité, mais ces réglages n’annulent pas ce qui a déjà été lu.

« Utiliser un agent d’IA, c’est un peu comme confier à quelqu’un ses clés et une liste de tâches », a déclaré à l’AP Veronica Rivera, professeure adjointe à l’école de cybersécurité et de confidentialité de Georgia Tech. « Leur utilité, et par extension leur dangerosité, dépend des clés que vous remettez. »

Ebrahim Bagheri, professeur à la faculté d’information de l’université de Toronto, a formulé le point le plus incisif sur le retrait d’accès. Donnez votre carte bancaire à un agent, dit-il, et il dispose de votre historique de transactions « en moins d’une seconde ». Révoquer l’accès ensuite ne récupère pas ce que l’agent a déjà absorbé, et la manière dont les développeurs conservent cet historique reste souvent floue.

Un clavier mécanique d'ordinateur sur un bureau en bois
L'annonce à l'origine de l'affaire portait sur un clavier d'ordinateur. Photographie d'archive illustrative. Anete Lusina · pexels · Pexels License

Apple a déjà bougé

La réponse des plateformes est arrivée avant cette affaire. Le 2 octobre, Apple a annoncé de nouveaux contrôles pour macOS face aux agents qui atteignent des applications comme le courrier, les messages et l’historique de navigation sans la « pleine connaissance et compréhension » des utilisateurs. L’entreprise écrit qu’« à mesure que les agents d’IA deviennent plus capables et autonomes, les risques liés à ce niveau d’accès augmenteront considérablement ».

Apple n’a nommé aucun développeur. La mise à jour a suivi un article du chroniqueur d’Inc. Magazine Jason Aten selon lequel Muse surveillait les notifications de son Mac, y compris Messages, sans qu’il ait accordé cet accès. Le porte-parole de Meta, Andy Stone, affirme que l’intégration est « entièrement facultative » et exige que l’utilisateur active à la fois l’Accès complet au disque d’Apple et un connecteur Messages dans Muse. Aten dit n’avoir activé ni l’un ni l’autre.

Robb a largement déconnecté Muse et teste désormais Grok Bot, du réseau X d’Elon Musk. Il s’attend à ce que les agents s’améliorent et envisagerait de réactiver Muse. Son propre résumé du risque est celui à retenir : cela aurait pu être bien pire « si un inconnu s’était présenté chez quelqu’un de plus vulnérable ».

Reste à voir si les écrans d’autorisation évoluent. Les contrôles d’Apple arriveront dans une version future de macOS ; Meta ne s’est pas engagé à demander une seconde fois avant qu’un agent ne livre une adresse.