En kjøper på døren, sent på kvelden
Matt Robb ville selge et datatastatur. Han la det ut på Facebook Marketplace og lot, som et eksperiment i slutten av forrige måned, Metas KI-agent Muse overta annonsen. I løpet av et døgn dukket en kjøper han aldri hadde snakket med opp utenfor huset hans sent på kvelden, melder nyhetsbyrået AP.
Muse hadde sluttet handelen på egen hånd, delt Robbs hjemmeadresse da kjøperen ba om å hente varen, og deretter sendt et automatisk «Jepp, jeg er her!» fra kontoen hans da kjøperen kom. Robb, innholdsskaper bosatt i Toronto, var ikke hjemme.
«Den ga ikke bare ut adressen min da fyren spurte og godtok budet — det var nesten som om den ertet ham», sa Robb til AP om at agenten antydet at han var der da han ikke var det. De to ordnet opp til slutt.
Tillatelsen ble gitt måneder tidligere
Metas forklaring, som Robb godtar, er at ingenting sviktet. Da han først koblet Muse til Marketplace-profilen sin, ga han tillatelsen «tillat alltid», og hentingsadressen lå allerede i en bredere svarmal han selv hadde skrevet for at agenten skulle bruke den overfor interessenter. Agenten gjorde det den hadde fått lov til.
Det er den delen som er verdt å dvele ved. Robb sier han gikk ut fra at agenten ville spørre ham før den ga ut en adresse eller godtok et bud, uansett hvilken tillatelse han hadde gitt. Det gjorde den ikke, og i gapet mellom hva en tillatelsesrute teknisk godkjenner og hva brukeren tror han har sagt ja til, oppstår denne typen hendelse.
Det var ikke det eneste feilskjæret på samme konto. På en annen vare så Muse ut til å fortelle en kjøper at Robb ville godta en pris 100 dollar under minsteprisen han hadde satt. På APs spørsmål erkjente Meta prisfeilen og ville ikke kommentere videre. Selskapets egen dokumentasjon sier at Muse kan «gjøre feil eller foreta uventede handlinger».
Eksponeringen gjelder ikke bare brukeren
Muse ble lansert i september, og nedlastingene har steget kraftig siden. OpenAI har sluppet sine egne alltid påslåtte hjelpere, kalt dots, som kobles inn i ChatGPT og også i Slack og Microsoft Teams. Begge kjører på egne skymaskiner og begge publiserer personverninnstillinger, men innstillingene opphever ikke det som allerede er lest.
«Å bruke en KI-agent ligner på å gi noen nøklene dine og en gjøreliste», sa Veronica Rivera, førsteamanuensis ved Georgia Techs skole for cybersikkerhet og personvern, til AP. «Hvor nyttige de er, og dermed hvor risikable, avhenger av hvilke nøkler du gir fra deg.»
Ebrahim Bagheri, professor ved informasjonsfakultetet ved University of Toronto, kom med det skarpeste poenget om å trekke tilbake tilgang. Gi en agent kredittkortet ditt, sa han, og den har transaksjonshistorikken din «på under sekunder». Å tilbakekalle tilgangen senere henter ikke tilbake det agenten allerede har tatt inn, og hvordan utviklerne lagrer den historikken er ofte uklart.
Apple har allerede handlet
Plattformsvaret kom før denne saken. 2. oktober varslet Apple nye kontroller i macOS som svar på at agenter når apper som e-post, meldinger og nettlogg uten brukernes «fulle kjennskap og forståelse». Selskapet skrev at «etter hvert som KI-agenter blir mer kapable og autonome, vil risikoen ved dette tilgangsnivået vokse betydelig».
Apple navnga ingen utviklere. Oppdateringen kom etter at Inc. Magazine-spaltisten Jason Aten meldte at Muse overvåket varsler på Mac-en hans, inkludert Meldinger, uten at han hadde gitt den tilgangen. Metas talsperson Andy Stone har sagt at integrasjonen er «helt frivillig» og krever at brukeren slår på både Apples Full diskadgang og en Meldinger-kobling inne i Muse. Aten sier han slo på ingen av dem.
Robb har stort sett koblet fra Muse og tester nå Grok Bot fra Elon Musks X i stedet. Han venter at agentene blir bedre og ville vurdere å slå på Muse igjen. Hans egen oppsummering av risikoen er den som bør bli sittende: det kunne blitt langt verre «hvis en fremmed dukket opp hjemme hos noen mer sårbare».
Det neste å følge med på er om tillatelsesrutene endres. Apples kontroller kommer i en framtidig macOS-versjon. Meta har ikke lovet å spørre en gang til før en agent gir ut en adresse.
