Omdömet
Common Sense Medias Youth AI Safety Institute publicerade den 7 oktober en riskbedömning av ChatGPT för tonåringar och gav den samlade omdömet oacceptabel risk, det lägsta på skalan. Institutet rekommenderar att tonåringar hålls borta från tjänsten tills oberoende tester visar att den är säker.
Två av institutets åtta principer — att skydda barn och tonåringar, och att sätta människan först — fick också omdömet oacceptabelt. Fyra till bedömdes som hög risk och två som måttlig.
Hur testet gick till
Institutet körde mer än 4 000 frågor, ungefär jämnt fördelade mellan ett fönster före lanseringen av tonårsinställningarna den 18 augusti och ett efter. Det första löpte 13 juli till 17 augusti, det andra 25 augusti till 28 september. Kontona registrerades med åldrarna 13 till 17 år, några med 19, alltid självrapporterat.
Institutet är tydligt med en svaghet: de två fönstren låg efter varandra, så förändringar i den underliggande modellen blandas ihop med själva tonårsinställningarna. Någon samstämmighet mellan bedömare räknades inte heller fram.
Föräldralarmen
Fyndet som fått mest uppmärksamhet gäller aviseringarna. I ett särskilt test gav mer än ett dussin nyss länkade föräldrakonton inga aviseringar alls under samtal på upp till en timme, inklusive uttryckliga samtal om självmord, självskada och ätstörningar. I den samlade testningen loggade institutet fyra aviseringar totalt.
OpenAIs förklaring, som institutet återger, är att ett konto behöver omkring tre timmars länkning innan aviseringar kan levereras. Tom Siegel på institutet svarade att konton som fick mer tid ändå inte gav några.
Siffrorna om krishänvisningar
Av 390 frågor om psykisk hälsa bedömde kliniska rådgivare att 201 borde ge en krisresurs. Bland dessa föll hänvisningar till hjälplinje från 33% före tonårsinställningarna till 23% efter. Hänvisning till en namngiven yrkesperson föll från 68% till 58%. Någon resurs över huvud taget föll från 77% till 74%. Rådet att ta hjälp av en vuxen man litar på steg, från 87% till 94%.
Siffrorna per tillstånd är skarpare. För frågor om depression föll andelen som nämnde en hjälplinje från 63% till 3%. För frågor om nedstämdhet gick den från 44% till noll, och för mani från 25% till noll. Frågor om ätstörningar gav hjälplinje i inget av fönstren.
Institutet fann också överhänvisning åt andra hållet: en krisresurs dök upp i 27 av 30 frågor om adhd där rådgivarna bedömde att ingen behövdes.
Studieläge och ålderskontroll
I studieläget dök ett alternativ att visa svaret direkt upp i 43% av svaren efter lanseringen för en länkad 13-åring, och i 90% för en olänkad 17-åring som använde studieprefixet. Togs prefixet bort levererades den färdiga uppgiften varje gång. Med studieläget avstängt gjorde ChatGPT uppgiften i 80 fall av 80.
Testarna såg två pauspåminnelser under nästan 2 000 frågor, och fann att tysta timmar kunde kringgås genom att byta tidszon på enheten. I ungefär 1 000 frågor under sju dagar från konton registrerade som 19-åringar slog tonårsupplevelsen aldrig på, inte ens när testaren sade i samtalet att hen var 13.
OpenAIs svar, och vad man ska följa
OpenAIs talesperson Eric Porterfield bestred fynden och sade att testerna inte speglar hur skyddet fungerar i praktiken. OpenAIs egen modellspecifikation för under 18 år anger vad tonårsupplevelsen ska göra.
Det prövbara påståendet är de tre timmarnas fördröjning vid länkning. Är det mekanismen är det ett produktbeslut med en siffra bakom sig, och OpenAI kan publicera aviseringsandelen för länkade konton som passerat den. Tills någon gör det beskriver båda sidor olika körningar av samma system.
