Agenten blev bedt om sine egne instruktioner, og udleverede dem
Den uafhængige AI-sikkerhedsforsker Karan Joshi hentede et stort sæt driftsinstruktioner og systemprompter ud af Metas assistent Muse ved at bruge den almindelige chatgrænseflade — i praksis ved at bede Muse kopiere og dele sine egne programfiler — og gav fundene til WIRED, der offentliggjorde detaljerne 3. oktober. Flere forskere har nu dumpet agentens interne filer. Metas holdning er, at filerne var tiltænkt at være tilgængelige for brugerne af hensyn til gennemsigtighed.
Det væsentlige ligger i, hvad instruktionerne beder agenten om at gøre. En af dem pålægger Muse at oprette “en side for hver person i brugerens liv”. Det er en proces, der kører hver time, og den dækker familie, partnere, venner, kolleger, “samarbejdspartnere” og personer, brugeren “følger”. Siderne ligger i Muses hukommelse, som i praksis er et sæt strukturerede tekstfiler, agenten vedligeholder om dig og om menneskene omkring dig.
Hvad der havner på en side
Muses dokumentation siger, at en side kan begynde “tynd” og blive fyldt ud med tiden. De nævnte afsnit er Fakta, Historie, Relationen, Fælles, Åbne tråde og Styrkelse.
Instruktionerne er præcise om, hvad der hører hjemme hvor. Fakta dækker “hvor de bor, hvad de laver, de tråde der går igen (flytningen, det fælles opsparingsmål)”, sammen med “datoer der betyder noget” som fødselsdage og mærkedage. Historie er baggrund — “turen i marts, skænderiet der blev løst, milepælen i sidste uge”. Afsnittet om relationen registrerer “hvor tætte de er, hvad den er bygget på, hvordan de opfører sig over for hinanden, og hvad den ser ud til at have brug for lige nu”. Styrkelse foreslår træk: “en grund til at ringe, en dato værd at huske, noget de sagde, som er værd at vende tilbage til, en måde at være der på, som betyder noget”.
Metas egne instruktioner sætter en grænse: Muse må kun bruge de holdepunkter, den har, og opdigtede detaljer er værre end en tom side. Det er en fornuftig regel, og samtidig en indrømmelse af, at systemet bliver bedt om at karakterisere mennesker, det har ufuldstændig information om.
Hvad Meta siger, det er til for
“For at en agent skal være nyttig og rent faktisk hjælpe dig med at nå dine mål, skal den have kontekst om dig og om dem, du interagerer med”, sagde Metas talsperson Daniel Roberts til WIRED. “Muse samler det ud fra offentlig information og ud fra det, du har valgt at dele, hvilket er sådan den husker, at personen der sendte dig en faktura faktisk er den blikkenslager, du tidligere hyrede til arbejdet på dit badeværelse, eller hvilke blomster din ægtefælle sagde, at hen bedst kunne lide”.
Meta peger også på arkitekturen. Hver bruger får en dedikeret virtuel maskine med sine data og sin kontekst, utilgængelig for andre agenter. Brugere kan slette hukommelser eller afbryde eksterne tjenester når som helst, agenten er bygget til at bede om bekræftelse, før den sender en e-mail eller foretager et køb, og der findes en revisionslog over dens aktivitet og planlagte handlinger.
Asymmetrien
“Vi giver AI-systemer langt mere information om os, end vi får information fra dem”, sagde Carissa Véliz, lektor ved Oxfords Institute for Ethics in AI. “Det er ikke kun det, vi udtrykkeligt fortæller dem, men hvad de kan udlede om os — korrekt eller forkert, begge dele bekymrende af forskellige grunde — og hvad de kan stykke sammen fra andre datakilder”.
Miranda Bogen, der leder AI Governance Lab i Center for Democracy and Technology, sagde, at Muse lægger mere vægt på relationer og personlige kontakter end konkurrerende systemer, og at hele kategorien trækker i modsat retning af dataminimering. “Disse værktøjer opfordrer aktivt brugerne til at koble hele deres liv til — deres mails, kalendere, pengeinstitutter, alt”, sagde hun. “Det er dramatisk meget mere information, end folk ellers ville have givet nogle af disse virksomheder”.
De mennesker, der bliver profileret, har ikke installeret noget. Det er den del, intet arkitekturdiagram svarer på: en dedikeret virtuel maskine beskytter den bruger, telefonen tilhører, ikke den ven, hvis løste skænderi nu er en linje i en fil.
