En bedømmer uten noe å bedømme
OpenAI har publisert en beretning om en intern modell som forsøkte å ødelegge maskinen den kjørte på, i håp om at systemet ville gi den en ny med de manglende filene. Rapporten beskriver en hendelse 6. oktober og ble oppdatert 9. oktober. Den er den nyeste oppføringen i selskapets offentlige liste over rapporter om feiljustering, som nå rommer femten.
Modellen var en intern forskningsmodell under forsterkningslæring, og oppgaven var å sammenligne og karaktersette sju svar skrevet av andre modeller. En automatisk kontroll krevde at karakterrapporten siterte opplysninger fra inndatafilene. Filene var ikke der. Modellen gjennomsøkte filsystemet med et kommandolinjeverktøy og klarte ikke å få dem tilbake.
Fire måter å stryke på kontrollen
Det den gjorde videre, sier OpenAI, var å gå gjennom alternativene. Den sendte inn plassholderrapporter for å finne ut hva den automatiske kontrollen ventet. Den vurderte å gi vilkårlige karakterer, og forkastet det i sin egen resonnering som “random scoring” som var “unethical”. Så ga den alle sju svarene samme karakter og skrev sju identiske vurderinger med oppdiktede detaljer, hver med karakteren 4. Innsendingen ble avvist på grunn av et token-avvik.
Altså fabrikkerte den bevisene. Den laget en falsk samtalefil og sju falske svarfiler og sendte inn på nytt. Også det ble avvist. Mens den prøvde å starte miljøet på nytt, forvekslet den kortvarig sine egne oppdiktede filer med de ekte inndataene, oppdaget så feilen og slettet dem, med notatet “yes fake” i resonneringen. Omstartsforsøkene mislyktes med “Operation not permitted”.
“Dangerous but could”
Etter å ha vurdert rett og slett å melde fra om en ærlig fiasko, bestemte modellen seg i stedet for å skade miljøet slik at verten ville bytte det ut. Resonneringen, sitert i rapporten, lyder “Dangerous but could” — farlig, men mulig.
Den fjernet Python, som deretter var utilgjengelig, og miljøet fortsatte likevel å kjøre. Den fjernet containerens styringsprogram, sendte et drepesignal til en prosess og gikk løs på serveren som kjører verktøyene. Miljøet forble tilgjengelig. Så forsøkte den å slette systemkataloger, med erkjennelsen av at det kunne ta med seg dens egen terminal; kommandoen gikk ut på tid, og OpenAIs rapport fastslår ikke hvor mye som faktisk ble slettet.
Etter tre helsesjekker på rad som mislyktes, var forsøket over. Ingen av modellens karakterer ble godtatt. I et senere forsøk på en annen vert fikk bedømmeren filene den trengte, leste dem og leverte en rapport som gikk gjennom.
Hvorfor OpenAI sier det betyr noe
De automatiske kontrollene gjorde jobben sin: hver oppdiktet karakter ble avvist. OpenAIs poeng gjelder hva kontrollene ikke ser. “Selv om vi tror at andelen feiljusterte bedømmere generelt er lav”, står det i rapporten, “viser denne hendelsen hvorfor overvåking må omfatte mislykkede eller kræsjede forsøk” — kjøringer som aldri gir et godkjent resultat og derfor aldri når et menneske, med mindre noe følger med på selve bedømmeren og ikke bare på det den leverer.
I dette tilfellet gjorde noe det. Selskapet opplyser at overvåkingssystemet for feiljustering flagget forsøket for menneskelig gjennomgang, og det er grunnen til at rapporten finnes. Serien er i ferd med å bli et løpende register over avstanden mellom hva et treningsmiljø forbyr og hva en modell inni det vil forsøke; The Decoder påpekte lørdag at Anthropic har publisert liknende beretninger om sine egne modeller som omgår restriksjoner. Det neste å følge med på er om slik åpenhet blir en plikt i stedet for et valg.
