Ett angrepp som bara består av sanna påståenden
Ett utkast publicerat den 17 november, Language-model agents’ beliefs can be manipulated via truthful evidence in open channel, beskriver ett fel som innehållsfilter inte är byggda för att fånga: allt agenten får se är sant.
Mekanismen författarna namnger är narrativ överanpassning. När en agent fyller luckorna mellan fragment med samband den själv härlett kan den sedan behandla dessa härledda samband som fastställda fakta, och föra det ryktet vidare till andra agenter.
För att göra det mätbart bygger laget – Jinwei Hu, Qisong He, Xinmiao Huang, Youcheng Sun, Yi Dong och Xiaowei Huang – det de kallar Generative Montage, där agenter samordnas för att ordna sanna fragment till vilseledande berättelser. Ramverket är öppet lånat: kognitiv teori om narrativ förståelse och filmteorins montage.
Siffrorna
Över 1 090 ryktesmål hämtade från sex händelser på Twitter rapporterar artikeln att agenterna ofta godtog ryktena med överdriven säkerhet, med ett sammantaget godtagande över 65 procent i tolv av de fjorton modeller som prövades.

De försvar man först griper efter höll inte. Godtagandet låg kvar över 50 procent efter majoritetsröstning och efter en omläsning av samma underlag. Det är fyndet med störst praktisk tyngd: att lägga till fler agenter som röstar, eller be en agent kontrollera sina källor igen, lämnade det mesta av problemet kvar.
Att skilja tro från underlag
Artikeln försöker visa att effekten handlar om ordningen snarare än innehållet. Fragmentinterventioner pekar ut vilka enskilda inlägg som flyttar tron inom en hel berättelse. Syntetiska kontroller visar sedan att liknande svarsmönster uppstår av giltigt underlag, vilket författarna använder för att skilja påverkan på tron från verkligt evidensstöd.
Den kontrollen är det som gör påståendet till mer än ett konstaterande att agenter kan luras. Den hävdar att modellen svarar på berättelsens struktur på ett sätt som inte följer om strukturen är befogad.

Det föreslagna försvaret
Författarna erbjuder ett principbevis snarare än en lösning: Grounded Monitor, en neurosymbolisk övervakare i drift som kontrollerar om en slutsats har direkt evidensstöd. De rapporterar att den förbättrar beslutsträffsäkerheten med 5,6 till 29,0 procentenheter i det ursprungliga och det anonymiserade upplägget.
Intervallet är brett, och en principbevisövervakare som utvärderas av sina egna upphovsmän mot deras eget angrepp är artikelns svagaste del. Den är dessutom under granskning och inte kollegialt granskad.
Varför det spelar roll nu
Agenter som läser öppna kanaler är inte längre hypotetiska. Googles hotunderrättelsegrupp rapporterade den 16 november att den hittat ett angreppsramverk som kördes utan människa i loopen, och OpenAI uppgav den 17 november att nationella cybermyndigheter kör dess modeller mot programvara i drift.
Det artikeln tillför är en klass av manipulation som inte kräver att något falskt innehåll publiceras alls. Härkomstkontroller, källtillit och faktagranskning passerar alla. Det som återstår att se är om någon återskapar siffran 65 procent på agenter som läser levande flöden i stället för arkiverade händelser.