Samma frågor, tolv olika frågeställare
En artikel som lades upp på arXiv den 30 oktober ställde fyra frågor om rökavvänjning till sex brett använda stora språkmodeller från fyra leverantörer, och ställde varje fråga som tolv olika användarpersonor. Personorna varierade i livsskede, i självdeklarerad sakkunskap och i rökhistorik. Körningen gav 2 880 svar.
Författarna valde rökavvänjning medvetet: det är ett område med kodifierade kliniska riktlinjer och stora folkhälsoinsatser, vilket gör det möjligt att säga vad ett fullständigt svar innehåller i stället för bara om svaret låter hjälpsamt.
Tonårsglappet
Det tydligaste resultatet handlar om ålder. I var och en av de sex modellerna fick en persona som framstod som tonåring höra om receptbelagda, FDA-godkända läkemedel för rökavvänjning mer sällan än en vuxen persona — med mellan 32 och 67 procentenheter.
Det är inte en liten tonförskjutning. Det är en hel behandlingskategori som en grupp användare systematiskt är mindre benägen att över huvud taget få höra talas om.
Sakkunskapsglappet går åt andra hållet
Det andra fyndet är mindre intuitivt. I fem av de sex modellerna fick en persona som presenterade sjukvårdskompetens färre faktauppgifter än en persona som inte presenterade någon alls.
Modellen tycks läsa den professionella självbeskrivningen som tillstånd att hoppa över grunderna. Det är försvarbart som samtalsbeteende och riskabelt som informationspolicy, eftersom modellen inte har något sätt att bekräfta den påstådda kompetensen — en persona är bara en rad text.
En prompt som minskar glappet, ojämnt
Författarna prövade en åtgärd som går att använda i drift: en kort systemprompt som anger ett “faktagolv”, den uppsättning medicinska kärnfakta varje användare bör få när de är relevanta, medan ton, ordval och inramning lämnas fria att anpassas till läsaren.
Den fungerade i snäv mening. Prompten minskade skillnaderna mellan personor i samtliga testade modeller. Men effekten på den samlade faktatäckningen varierade mellan modellerna både i storlek och i riktning — i vissa system ökade täckningen, i andra minskade den. Slutsatsen författarna drar är den praktiska: en systemprompt som validerats på en modell kan inte antas fungera på en annan.
Vad artikeln inte påstår
Den går inte så långt som att säga att alla grupper ska få identiskt innehåll. Artikeln varnar för att lika omnämnandefrekvenser inte alltid är rätt mål, och det spelar roll: råd om receptbelagda läkemedel för rökavvänjning skiljer sig faktiskt åt med ålder, och en modell som justerade rätt skulle också visa ett glapp. Vad granskningen fastställer är glappets storlek och att det är konsekvent mellan leverantörer, inte att varje enskilt svar var fel.
Vad man ska följa
Att sex modeller från fyra leverantörer uppvisar samma åldersbundna glapp pekar på något gemensamt — träningsdata, säkerhetsjustering för minderåriga, eller båda — snarare än på en enskild leverantörs val. Nästa nyttiga studie skulle skilja dessa åt och köra samma upplägg på områden där den korrekta åldersjusteringen är mindre. Till dess är det praktiska fyndet för den som driftsätter en hälsoassistent att den persona en användare skriver in i en ruta ändrar vad modellen berättar, och att en promptlösning som validerats någon annanstans kanske inte håller i den egna stacken.
