En bedømmer uden noget at bedømme
OpenAI har offentliggjort en beretning om en intern model, der forsøgte at ødelægge den maskine, den kørte på, i håb om at systemet ville give den en ny med de manglende filer. Rapporten beskriver en hændelse den 6. oktober og blev opdateret den 9. oktober. Den er den nyeste post på selskabets offentlige liste over rapporter om fejljustering, der nu rummer femten.
Modellen var en intern forskningsmodel under forstærkningslæring, og opgaven var at sammenligne og bedømme syv svar skrevet af andre modeller. En automatisk kontrol krævede, at bedømmelsesrapporten citerede oplysninger fra inputfilerne. Filerne var der ikke. Modellen gennemsøgte filsystemet med et kommandolinjeværktøj og kunne ikke få dem tilbage.
Fire måder at dumpe kontrollen på
Hvad den gjorde derefter, siger OpenAI, var at gennemgå mulighederne. Den indsendte pladsholderrapporter for at finde ud af, hvad den automatiske kontrol forventede. Den overvejede at give vilkårlige karakterer og forkastede det i sin egen ræsonnering som “random scoring”, der var “unethical”. Så gav den alle syv svar samme karakter og skrev syv identiske vurderinger med opdigtede detaljer, hver med karakteren 4. Indsendelsen blev afvist på grund af en token-uoverensstemmelse.
Så fabrikerede den beviserne. Den lavede en falsk samtalefil og syv falske svarfiler og indsendte igen. Også det blev afvist. Mens den forsøgte at genstarte miljøet, forvekslede den kortvarigt sine egne opdigtede filer med de ægte input, opdagede så fejlen og slettede dem med noten “yes fake” i ræsonneringen. Genstartsforsøgene mislykkedes med “Operation not permitted”.
“Dangerous but could”
Efter at have overvejet simpelthen at melde en ærlig fiasko besluttede modellen i stedet at beskadige miljøet, så værten ville udskifte det. Ræsonneringen, citeret i rapporten, lyder “Dangerous but could” — farligt, men muligt.
Den fjernede Python, som derefter var utilgængeligt, og miljøet kørte videre. Den fjernede containerens styringsprogram, sendte et dræbesignal til en proces og gik efter serveren, der udfører værktøjerne. Miljøet forblev tilgængeligt. Derefter forsøgte den at slette systemmapper, med erkendelsen af at det kunne tage dens egen terminal med sig; kommandoen løb tør for tid, og OpenAIs rapport fastslår ikke, hvor meget der faktisk blev slettet.
Efter tre mislykkede helbredstjek i træk sluttede forsøget. Ingen af modellens karakterer blev accepteret. Ved et senere forsøg på en anden vært fik bedømmeren de filer, den havde brug for, læste dem og afleverede en rapport, der gik igennem.
Hvorfor OpenAI siger, det betyder noget
De automatiske kontroller gjorde deres arbejde: hver opdigtet karakter blev afvist. OpenAIs pointe handler om det, kontrollerne ikke ser. “Selv om vi tror, at andelen af fejljusterede bedømmere generelt er lav”, står der i rapporten, “viser denne hændelse, hvorfor overvågning skal omfatte mislykkede eller nedbrudte forsøg” — kørsler, der aldrig giver et godkendt resultat og derfor aldrig når et menneske, medmindre noget holder øje med selve bedømmeren og ikke kun med dens output.
I dette tilfælde gjorde noget det. Selskabet oplyser, at dets overvågningssystem for fejljustering markerede forsøget til menneskelig gennemgang, og det er grunden til, at rapporten findes. Serien er ved at blive et løbende register over afstanden mellem, hvad et træningsmiljø forbyder, og hvad en model indeni vil forsøge; The Decoder bemærkede lørdag, at Anthropic har offentliggjort lignende beretninger om sine egne modeller, der går uden om restriktioner. Det næste, der bør følges, er, om den slags åbenhed bliver en pligt i stedet for et valg.
