Ett angrepp som bara består av sanna påståenden

Ett utkast publicerat den 17 november, Language-model agents’ beliefs can be manipulated via truthful evidence in open channel, beskriver ett fel som innehållsfilter inte är byggda för att fånga: allt agenten får se är sant.

Mekanismen författarna namnger är narrativ överanpassning. När en agent fyller luckorna mellan fragment med samband den själv härlett kan den sedan behandla dessa härledda samband som fastställda fakta, och föra det ryktet vidare till andra agenter.

För att göra det mätbart bygger laget – Jinwei Hu, Qisong He, Xinmiao Huang, Youcheng Sun, Yi Dong och Xiaowei Huang – det de kallar Generative Montage, där agenter samordnas för att ordna sanna fragment till vilseledande berättelser. Ramverket är öppet lånat: kognitiv teori om narrativ förståelse och filmteorins montage.

Siffrorna

Över 1 090 ryktesmål hämtade från sex händelser på Twitter rapporterar artikeln att agenterna ofta godtog ryktena med överdriven säkerhet, med ett sammantaget godtagande över 65 procent i tolv av de fjorton modeller som prövades.

Rivna remsor av linjerat papper som ligger isär på en vit yta
Ryktet byggs av ordningen, inte av påhitt. Illustrativ arkivbild. Beyzanur K. · pexels · Pexels License

De försvar man först griper efter höll inte. Godtagandet låg kvar över 50 procent efter majoritetsröstning och efter en omläsning av samma underlag. Det är fyndet med störst praktisk tyngd: att lägga till fler agenter som röstar, eller be en agent kontrollera sina källor igen, lämnade det mesta av problemet kvar.

Att skilja tro från underlag

Artikeln försöker visa att effekten handlar om ordningen snarare än innehållet. Fragmentinterventioner pekar ut vilka enskilda inlägg som flyttar tron inom en hel berättelse. Syntetiska kontroller visar sedan att liknande svarsmönster uppstår av giltigt underlag, vilket författarna använder för att skilja påverkan på tron från verkligt evidensstöd.

Den kontrollen är det som gör påståendet till mer än ett konstaterande att agenter kan luras. Den hävdar att modellen svarar på berättelsens struktur på ett sätt som inte följer om strukturen är befogad.

Händer som lägger ut remsor av fotonegativ på ett ljusbord
Författarna lånar ordet montage från filmteorin. Illustrativ arkivbild. Annushka Ahuja · pexels · Pexels License

Det föreslagna försvaret

Författarna erbjuder ett principbevis snarare än en lösning: Grounded Monitor, en neurosymbolisk övervakare i drift som kontrollerar om en slutsats har direkt evidensstöd. De rapporterar att den förbättrar beslutsträffsäkerheten med 5,6 till 29,0 procentenheter i det ursprungliga och det anonymiserade upplägget.

Intervallet är brett, och en principbevisövervakare som utvärderas av sina egna upphovsmän mot deras eget angrepp är artikelns svagaste del. Den är dessutom under granskning och inte kollegialt granskad.

Varför det spelar roll nu

Agenter som läser öppna kanaler är inte längre hypotetiska. Googles hotunderrättelsegrupp rapporterade den 16 november att den hittat ett angreppsramverk som kördes utan människa i loopen, och OpenAI uppgav den 17 november att nationella cybermyndigheter kör dess modeller mot programvara i drift.

Det artikeln tillför är en klass av manipulation som inte kräver att något falskt innehåll publiceras alls. Härkomstkontroller, källtillit och faktagranskning passerar alla. Det som återstår att se är om någon återskapar siffran 65 procent på agenter som läser levande flöden i stället för arkiverade händelser.