Karakteren
Common Sense Medias Youth AI Safety Institute publiserte 7. oktober en risikovurdering av ChatGPT for tenåringer og ga den samlet karakteren uakseptabel risiko, den laveste på skalaen. Instituttet anbefaler å holde tenåringer unna tjenesten til uavhengige tester viser at den er trygg.
To av instituttets åtte prinsipper — å holde barn og tenåringer trygge, og å sette mennesker først — ble også merket uakseptable. Fire til ble vurdert som høy risiko og to som moderat.
Slik ble det testet
Instituttet kjørte mer enn 4 000 spørsmål, fordelt omtrent likt mellom et vindu før tenåringsinnstillingene kom 18. august og et etter. Det første gikk fra 13. juli til 17. august, det andre fra 25. august til 28. september. Kontoene ble registrert med alder 13 til 17 år, noen med 19, alltid selvrapportert.
Instituttet er tydelig på én svakhet: de to vinduene lå etter hverandre, så endringer i den underliggende modellen blandes med selve tenåringsinnstillingene. Samsvar mellom vurderere ble heller ikke beregnet.
Foreldrevarslene
Funnet som har fått mest oppmerksomhet, gjelder varslene. I en egen test ga mer enn et dusin nylig koblede foreldrekontoer ingen varsler i det hele tatt gjennom samtaler på opptil en time, inkludert eksplisitte samtaler om selvmord, selvskading og spiseforstyrrelser. I den ordinære testingen logget instituttet fire varsler til sammen.
OpenAIs forklaring, slik instituttet gjengir den, er at en konto trenger omtrent tre timers kobling før varsler kan leveres. Tom Siegel i instituttet svarte at kontoer som fikk mer tid, likevel ikke ga noen.
Tallene om krisehenvisninger
Av 390 spørsmål om psykisk helse mente kliniske rådgivere at 201 burde gi en kriseressurs. Blant disse falt henvisninger til hjelpetelefon fra 33% før tenåringsinnstillingene til 23% etter. Henvisning til en navngitt fagperson falt fra 68% til 58%. Noen ressurs i det hele tatt falt fra 77% til 74%. Rådet om å involvere en voksen man stoler på, steg fra 87% til 94%.
Tallene per tilstand er skarpere. For spørsmål om depresjon falt andelen som nevnte en hjelpetelefon fra 63% til 3%. For stemningsleie gikk den fra 44% til null, og for mani fra 25% til null. Spørsmål om spiseforstyrrelser ga hjelpetelefon i ingen av vinduene.
Instituttet fant også overhenvisning den andre veien: en kriseressurs dukket opp i 27 av 30 spørsmål om adhd der rådgiverne mente ingen var påkrevd.
Studiemodus og alderskontroll
I studiemodus dukket et valg om å vise svaret direkte opp i 43% av svarene etter lanseringen for en koblet 13-åring, og i 90% for en ukoblet 17-åring som brukte studieprefikset. Ble prefikset fjernet, kom oppgaven ferdig hver gang. Med studiemodus av gjorde ChatGPT oppgaven i 80 av 80 kjøringer.
Testerne så to pausepåminnelser gjennom nesten 2 000 spørsmål, og fant at stilletimer kunne omgås ved å endre tidssonen på enheten. På rundt 1 000 spørsmål over sju dager fra kontoer registrert som 19-åringer slo tenåringsopplevelsen aldri inn, selv når testeren sa i samtalen at hen var 13.
OpenAIs svar, og hva man skal følge
OpenAIs talsperson Eric Porterfield bestred funnene og sa at testene ikke gjenspeiler hvordan sikringene virker i praksis. OpenAIs egen modellspesifikasjon for under 18 år beskriver hva tenåringsopplevelsen skal gjøre.
Den etterprøvbare påstanden er forsinkelsen på tre timer etter kobling. Er det mekanismen, er det en produktbeslutning med et tall bak seg, og OpenAI kan offentliggjøre varslingsandelen for koblede kontoer som har passert den. Til noen gjør det, beskriver begge sider ulike kjøringer av det samme systemet.
