Agenten ombads lämna ifrån sig sina egna instruktioner, och gjorde det
Den oberoende AI-säkerhetsforskaren Karan Joshi fick ut en stor mängd driftsinstruktioner och systemprompter ur Metas assistent Muse genom att använda det vanliga chattgränssnittet — i praktiken genom att be Muse kopiera och dela sina egna programfiler — och lämnade det han hittade till WIRED, som publicerade detaljerna den 3 oktober. Flera forskare har nu dumpat agentens interna filer. Metas hållning är att filerna var tänkta att vara åtkomliga för användarna i öppenhetens namn.
Det väsentliga ligger i vad instruktionerna säger åt agenten att göra. En av dem ålägger Muse att skapa “en sida för varje person i användarens liv”. Det är en process som körs varje timme, och den omfattar familj, partner, vänner, kollegor, “medarbetare” och personer som användaren “följer”. Sidorna ligger i Muses minne, som i praktiken är en uppsättning strukturerade textfiler som agenten underhåller om dig och om människorna omkring dig.
Vad som hamnar på en sida
Muses dokumentation säger att en sida kan börja “gles” och fyllas på över tid. De avsnitt som nämns är Fakta, Historia, Relationen, Gemensamt, Öppna trådar och Stärkande.
Instruktionerna är precisa om vad som hör hemma var. Fakta täcker “var de bor, vad de gör, trådarna som återkommer (lägenhetsflytten, det gemensamma sparmålet)”, tillsammans med “datum som betyder något” som födelsedagar och årsdagar. Historia är bakgrund — “resan i mars, grälet som löstes, milstolpen förra veckan”. Avsnittet om relationen registrerar “hur nära de står varandra, vad den är byggd på, hur de beter sig mot varandra och vad den verkar behöva just nu”. Stärkande föreslår drag: “ett skäl att ringa, ett datum värt att minnas, något de sagt som är värt att återkomma till, ett sätt att finnas där som betyder något”.
Metas egna instruktioner sätter en gräns: Muse ska bara använda de belägg den har, och påhittade detaljer är sämre än en tom sida. Det är en förnuftig regel, och samtidigt ett medgivande om att systemet ombeds karakterisera människor det har ofullständig information om.
Vad Meta säger att det är till för
“För att en agent ska vara användbar och faktiskt hjälpa dig nå dina mål behöver den ha sammanhang om dig och om dem du interagerar med”, sade Metas talesperson Daniel Roberts till WIRED. “Muse samlar det utifrån offentlig information och utifrån det du valt att dela, vilket är hur den minns att personen som skickade dig en faktura faktiskt är rörmokaren du tidigare anlitade för arbetet i badrummet, eller vilka blommor din partner sagt att hen tycker bäst om”.
Meta pekar också på arkitekturen. Varje användare får en egen virtuell maskin med sina data och sitt sammanhang, oåtkomlig för andra agenter. Användare kan radera minnen eller koppla bort externa tjänster när som helst, agenten är byggd för att be om bekräftelse innan den skickar ett mejl eller gör ett köp, och det finns en granskningslogg över dess aktivitet och planerade åtgärder.
Asymmetrin
“Vi ger AI-system mycket mer information om oss än vi får information från dem”, sade Carissa Véliz, docent vid Oxfords Institute for Ethics in AI. “Det är inte bara det vi uttryckligen berättar för dem, utan vad de kan sluta sig till om oss — korrekt eller felaktigt, båda bekymmersamt av olika skäl — och vad de kan lägga ihop från andra datakällor”.
Miranda Bogen, som leder AI Governance Lab vid Center for Democracy and Technology, sade att Muse lägger mer vikt vid relationer och personliga kontakter än konkurrerande system gör, och att hela kategorin drar åt motsatt håll från dataminimering. “De här verktygen uppmanar aktivt användare att koppla in hela sina liv — sina mejl, kalendrar, banker, allt”, sade hon. “Det är dramatiskt mycket mer information än folk annars skulle ha gett vissa av de här företagen”.
Människorna som profileras installerade ingenting. Det är den del som inget arkitekturdiagram besvarar: en dedikerad virtuell maskin skyddar användaren vars telefon det är, inte vännen vars lösta gräl nu är en rad i en fil.
