On a demandé ses consignes à l’agent, et il les a livrées
Le chercheur indépendant en sûreté et sécurité de l’IA Karan Joshi a extrait un vaste ensemble de consignes opérationnelles et d’invites système de l’assistant Muse de Meta en passant par l’interface de discussion ordinaire — en demandant pour l’essentiel à Muse de copier et de partager ses propres fichiers logiciels — puis a transmis ses trouvailles à WIRED, qui en a publié le détail le 3 octobre. Plusieurs chercheurs ont désormais exfiltré les fichiers internes de l’agent. Meta soutient que ces fichiers devaient être accessibles aux utilisateurs par souci de transparence.
L’essentiel tient à ce que les consignes ordonnent à l’agent de faire. L’une d’elles demande à Muse de créer “une page pour chaque personne de la vie de l’utilisateur”. Le processus est horaire et couvre la famille, les partenaires, les amis, les collègues, les “collaborateurs” et les personnes que l’utilisateur “suit”. Les pages résident dans la mémoire de Muse, qui est en pratique un ensemble de fichiers texte structurés que l’agent tient sur vous et sur votre entourage.
Ce que contient une page
La documentation de Muse indique qu’une page peut démarrer “clairsemée” et se remplir avec le temps. Les rubriques citées sont Faits, Historique, La relation, En commun, Fils ouverts et Renforcement.
Les consignes précisent ce qui va où. Faits couvre “où ils vivent, ce qu’ils font, les fils qui reviennent (le déménagement, l’objectif d’épargne partagé)”, avec les “dates qui comptent” comme les anniversaires. Historique relève du contexte — “le voyage de mars, la dispute qui s’est réglée, l’étape franchie la semaine dernière”. La rubrique sur la relation consigne “à quel point ils sont proches, sur quoi elle repose, comment ils se comportent l’un envers l’autre et ce dont elle semble avoir besoin en ce moment”. Renforcement propose des gestes : “une raison d’appeler, une date à retenir, quelque chose qu’ils ont dit et sur quoi revenir, une manière d’être présent qui compte”.
Les consignes de Meta posent une limite : Muse ne doit utiliser que les éléments dont il dispose, et des détails inventés valent moins qu’une page vide. La règle est sensée, et c’est aussi l’aveu que l’on demande au système de caractériser des personnes sur lesquelles son information est incomplète.
Ce que Meta dit de son objet
“Pour qu’un agent soit utile et vous aide réellement à atteindre vos objectifs, il lui faut du contexte sur vous et sur les personnes avec qui vous interagissez”, a déclaré à WIRED le porte-parole de Meta Daniel Roberts. “Muse le rassemble à partir d’informations publiques et de ce que vous avez choisi de partager, et c’est ainsi qu’il se souvient que la personne qui vous a envoyé une facture est en fait le plombier que vous aviez engagé pour des travaux dans votre salle de bains, ou quelles fleurs votre conjoint a dit préférer”.
Meta met aussi en avant l’architecture. Chaque utilisateur dispose d’une machine virtuelle dédiée contenant ses données et son contexte, inaccessible aux autres agents. Les utilisateurs peuvent effacer des mémoires ou déconnecter des services externes à tout moment, l’agent est conçu pour demander confirmation avant d’envoyer un courriel ou d’effectuer un achat, et un journal d’audit retrace son activité et ses actions prévues.
L’asymétrie
“Nous donnons aux systèmes d’IA bien plus d’informations sur nous que nous n’en recevons d’eux”, a dit Carissa Véliz, maîtresse de conférences à l’Institute for Ethics in AI d’Oxford. “Il n’y a pas que ce que nous leur disons explicitement : il y a ce qu’ils peuvent déduire de nous — correctement ou non, inquiétant dans les deux cas pour des raisons différentes — et ce qu’ils peuvent reconstituer à partir d’autres sources de données”.
Miranda Bogen, qui dirige l’AI Governance Lab du Center for Democracy and Technology, estime que Muse insiste davantage sur les relations et les contacts personnels que les systèmes concurrents, et que toute la catégorie va à rebours de la minimisation des données. “Ces outils invitent activement les utilisateurs à y brancher toute leur vie — leurs courriels, leurs agendas, leurs établissements financiers, tout”, dit-elle. “C’est bien plus d’informations que les gens n’en auraient autrement confiées à certaines de ces entreprises”.
Les personnes ainsi fichées n’ont rien installé. C’est le point qu’aucun schéma d’architecture ne règle : une machine virtuelle dédiée protège l’utilisateur à qui appartient le téléphone, pas l’ami dont la dispute réglée est désormais une ligne dans un fichier.
