Att märka är inte att tillämpa
En ny artikel på arXiv hävdar att språkmodeller tillförlitligt märker när en klinisk riktlinje har reviderats, och sedan inte agerar på revideringen. Min Zeng, Zaifu Zhan, Kai Yu och Rui Zhang lade upp den den 22 oktober.
Riktmärket bakom heter ChronoEvo. Det rymmer 1 709 revideringar på rekommendationsnivå och täcker tolv typer av förändring i medicinsk kunskap — de sätt vägledning faktiskt rör sig på, snarare än ett allmänt prov i medicinsk minneskunskap. Frågan det ställer till en modell är inte om den kan riktlinjen, utan om svaret speglar den gällande versionen.
I det artikeln kallar den primära modellen kände 90,8 procent av svaren igen att rekommendationen hade reviderats. 80,2 procent var kliniskt korrekta. Bara 58,5 procent tog in den reviderade vägledningen fullt ut. Det är 32,3 procentenheters avstånd mellan att se förändringen och att agera på den. Artikeln namnger varken den primära modellen eller någon av de fjorton den körde. Samma uppdelning, skriver den, dök upp i allihop.
Vad läkarna fann
Den automatiska poängsättningen kontrollerades mot mänsklig bedömning. Två läkare bedömde 300 svar, och i det urvalet blev gapet mellan igenkänning och tillämpning 40,3 procentenheter — bredare än riktmärkets eget mått, inte smalare.
Riktningen spelar roll. Ett riktmärke som smickrar modellerna det bedömer är ett välkänt problem. Det här verkar göra tvärtom, vilket gör rubriksiffran till ett golv och inte ett tak.
Vilka ändringar som fäller dem
Artikeln pekar ut vilka slags revideringar modellerna hanterar sämst. Ändringar i en rekommendations styrka — en behandling som går från “ska” till “kan övervägas” — och ändringar i vilka patienter som omfattas var båda kopplade till att modeller behöll det överspelade rådet. Det är revideringar som låter själva åtgärden stå kvar och ändrar villkoren runt den, vilket också är den sortens ändring som någon som skummar efter läkemedelsnamnet missar.
Åtgärden som halvt fungerade
Författarna prövade att göra revideringen mer framträdande i det modellen fick. Det minskade inaktuellt innehåll och förbättrade den kliniska korrektheten. Det förbättrade inte full tillämpning på ett signifikant sätt.
Det är artikelns mest användbara fynd för den som driftsätter sådant här. Den billiga lösningen — visa uppdateringen, markera ändringen, lägg den nya texten först — flyttar de mått som är lätta att flytta. Den stänger inte det gap som betyder något, nämligen om svaret en läkare läser bygger på den gällande rekommendationen eller på den som ersattes.
Vad man ska följa
System med hämtningsstöd är standardsvaret på föråldrad medicinsk kunskap, och det här resultatet motbevisar inte det angreppssättet så mycket som det beskriver dess felläge: det gällande dokumentet hämtas, modellen erkänner det, och svaret speglar ändå vad modellen lärde sig under träningen.
Testet som är värt att köra härnäst är samma riktmärke mot kliniska verktyg i drift i stället för mot basmodeller, och med modellnamnen publicerade. Fjorton anonyma modeller räcker till en forskningspoäng. Namngivna skulle räcka till ett upphandlingsbeslut.
