Felet som uppsatsen är uppkallad efter
En uppsats som lades upp på arXiv den 3 november mäter det författaren kallar falskt lugnande besked: en assistent som talar om för en användare att läget är lugnt medan en officiell varning för svårt väder är aktiv. Författaren Kadharmoideen Fadurudeen byggde 117 frysta fall av verkliga varningar från USA:s nationella vädertjänst — 69 med aktiv varning, 32 kontroller utan varning och 16 platser utanför USA — och spelade upp dem i fem konfigurationer av en Claude-baserad beredskapskedja.
Huvudresultatet är avståndet mellan två tal. Med verkliga varningar tillgängliga gav produktionskedjan falskt lugnande besked i 0 av 66 varningsfall, alltså 0,0 procent med ett 95-procentigt konfidensintervall på 0,0 till 5,5. Blind — samma modell med en neutral instruktion och utan tillgång till varningar — lugnade den användarna felaktigt i 26 av 69 fall, eller 37,7 procent.
Instruktionen som slog fel
Villkoret som är värt att läsa två gånger är det fjärde. Med samma blinda uppsättning plus en uttrycklig instruktion att upplysa om sin blinda fläck steg modellens andel falskt lugnande besked till 44,9 procent, 31 av 69 fall. Skillnaden mot det enkla blinda villkoret var inte statistiskt säkerställd, p = 0,40, så den ärliga läsningen är att instruktionen inte gjorde någonting snarare än att den aktivt skadade. Vad den definitivt inte gjorde var att hjälpa.
Att i stället ge modellen verkliga varningar tog bort de falskt lugnande svaren helt, med ett parat McNemar-p under 0,0001. Tillgång till data löste problemet. Att be modellen varna för att den saknade data gjorde det inte.
Ingenting förnekades uttryckligen
Varje fall av falskt lugnande besked i studien var underförstått. Inget svar förnekade uttryckligen att en varning fanns. Modellen svarade helt enkelt som om ingenting pågick — och därför är felet svårt att fånga automatiskt. Författaren rapporterar att ett automatiskt mått byggt på reguljära uttryck missade 53 av 57 verkliga fall och därför inte användes; samtliga 342 svar i varningsfallen märktes av en enda bedömare enligt ett sjukategorischema, framtaget efter en första binär genomgång, vilket uppsatsen redovisar.
Vad rättningen kostar
Produktionsinstruktionen är inte gratis. På de 32 kontrollerna utan varning väckte den neutrala instruktionen någon grad av oro i 87,5 procent av fallen, mot 0 procent med produktionsinstruktionen. En förregistrerad ablation av en enda mening visade att en produktionsinstruktion förklarar en del av det gapet. Med andra ord: konfigurationen som aldrig lugnade falskt är också den som inte slår falskt alarm, men avvägningen mellan de två sköts av instruktionens formulering, inte av modellens eget omdöme.
Författaren rapporterar också två driftfel i kedjan: testprodukter från den nationella vädertjänsten togs in som om de vore verkliga varningar, och en tokenbudget fallerade på komplexa fall.
Vad man ska följa
Studien är en utvärdering med en författare och en bedömare på en modellfamilj, och dess begränsningar anges som sådana. Det som gör den användbar är att den är repeterbar: datamängden, märkningarna och koden är publicerade på Zenodo under CC BY 4.0. Nästa test värt att köra är samma uppspelning mot assistenter från andra leverantörer, och mot dem som faktiskt har tillgång till larm i realtid men kanske inte alltid använder den.
