Att granska namnet mot koden
Agentsystem byggda på lokala språkmodeller skyltar ofta med moduler ur kognitiv arkitektur: ett globalt arbetsutrymme, theory of mind, kausalt resonemang, aktiv inferens. En artikel som lades upp på arXiv den 30 oktober av Peter Chen, Ni Zhang, Ying Xu och Siyuan Zhang hävdar att modulens namn rutinmässigt behandlas som bevis för att mekanismen finns, och sätter sig för att kontrollera om den namngivna beräkningen faktiskt körs.
Metoden är medvetet torr och överförbar: en statisk granskning med fyra frågor, med radnummer som underlag för varje svar, följd av spårning av anropskedjan för att se vart ett framräknat värde går. Författarna tillämpar den på 25 påstådda mekanismer i ett agentsystem, förregistrerar förutsägelser för 11 av modulerna och kör sedan 12 ingrepp för att pröva dem.
Siffran
I 18 av de 25 modulerna — 72 procent — når det värde modulen räknar fram aldrig någon utdata i produktion. Koden körs. Den ger ett resultat. Inget längre fram använder det.
Författarna sätter namn på tre nya mönster för detta, som de kallar tomgångskoppling: sätt på vilka en modul kan vara kopplad till systemet tillräckligt nära för att köras, och tillräckligt löst för att inte ha någon verkan. Av 61 kriterier som låstes före granskningen bekräftades 53, fem föll, två avgjordes delvis och ett bedömdes som otydligt.
Lagningarna är beviset
Ett nollresultat av det här slaget inbjuder till den uppenbara invändningen: modulens utdata var kanske aldrig tänkt att användas direkt, och dess inflytande är indirekt. Författarna svarar med två lagningsexperiment körda som positiva kontroller — koppla in den döda vägen och se om något ändras.
Ett gjorde det, dramatiskt. En planerares andel lyckade uppgifter gick från 0,028 till 1,000 när modulens utdata faktiskt leddes in i det beslut den skulle informera. I den andra lagningen föll en tillståndsregulators fel med 52 procent. Om modulerna hade bidragit indirekt skulle en korrekt inkoppling inte ha gett en förändring av den storleken.
Författarna upprepar också protokollet på ett andra, oberoende system — de granskar dess phi-kärna ur integrerad informationsteori mot det systemets egna i förväg fastställda falsifieringskriterier — och redovisar en granskning av fryst källkod med 52 kontroller över 12 filer från två hybridkörmiljöer och ett publikt auktoriseringsunderlag.
Vad det betyder när man läser agentartiklar
Slutsatsen författarna drar är snäv och värd att säga rakt ut: en moduls namn och en moduls beräkning är två skilda påståenden, och de bör granskas separat. Ett systemkort, en readme-fil i ett kodarkiv eller ett arkitekturdiagram som listar “theory of mind” redovisar det första. Om det andra håller är en fråga om anropskedjor, och artikelns bidrag är ett billigt sätt att ställa den.
Granskningen omfattar två system, båda byggda på lokala modeller, så den säger inget direkt om kommersiella spetsagenter vars kod inte är tillgänglig. Det är också poängen: samma fråga går för närvarande inte att ställa om dem.
