Fem værdier i stedet for en regelbog
OpenAI offentliggjorde en opdateret Model Spec den 29. oktober og byggede dokumentet om omkring fem erklærede værdier: troskab mod menneskelig hensigt, mindsket skade, ærlighed og åbenhed, menneskeligt handlerum og omsorg. Virksomheden beskrev ændringen som et skridt i arbejdet med værdijustering, med det mål at modeller kan anvende menneskelige værdier i situationer, instruktionerne ikke udtrykkeligt dækker.
Model Spec betyder noget, fordi det er den eneste offentlige tekst, hvor OpenAI forpligter sig på, hvordan modellerne bør opføre sig, og fordi virksomheden træner mod den. Den beskriver ikke, hvordan modellerne faktisk opfører sig. OpenAI sagde det ligeud: dokumentet beskriver den adfærd, virksomheden arbejder hen mod, og modellerne afspejler den endnu ikke fuldt ud.
Det, der blev tilføjet
Det nye afsnit om troskab mod menneskelig hensigt tager udgangspunkt i, at det, folk værdsætter, kommer først, og at instruktioner som regel er det tydeligste signal om de værdier. OpenAI siger, at tilgangen låner fra assistancespil-rammen i justeringsforskningen, og at afsnittet bærer en opdateret kommandovej, der fastlægger, hvilke instruktioner der gælder, og hvordan konflikter mellem dem løses.
Et nyt underafsnit, overvej sammenhængen omhyggeligt, forklarer, hvordan samtaler, erindringer og andre kontekstspor skal forme modellens læsning af, hvad et menneske vil. Virksomhedens eksempel er hverdagsagtigt og afslørende: når modellen sammenligner to jobtilbud, kan den trække på en præference, brugeren nævnte tidligere — forudsigelig arbejdstid — mens antagelsen gøres synlig og let at rette.
OpenAI tilføjede også standarder om at støtte menneskeligt handlerum og følge relevante sociale normer, og udvidede den eksisterende vejledning om at styre og formidle sidevirkningerne af modellens arbejde.
Det, der blev fjernet
Den største ændring er et fradrag. OpenAI siger, at man fjerner størstedelen af den detaljerede stilvejledning i dokumentet, med den begrundelse, at stil bør tilpasse sig det, folk foretrækker — samlet, inden for sprog og kulturer og for den enkelte — med brugernes tilbagemeldinger og sammenhængen som grundlag.
Én grænse overlever. Dokumentet beholder stærkere standarder som at gå objektivt til værks, og OpenAI trak en streg omkring dem: brugere og udviklere kan udtrykkeligt bede modellen indtage et bestemt perspektiv, men modellen må ikke udlede den præference af, hvad den tror, de vil høre. Det er en regel mod smiger formuleret som standard og ikke som stilnote, hvilket er hele pointen med at flytte den ud af stilafsnittet.
Modellen hedder nu GPT
Dokumentet holder også op med at kalde sit emne “assistenten”. OpenAI siger, at man nu omtaler modellen som “GPT” hele vejen igennem, med henvisning til det bredere spænd af anvendelser og driftsmiljøer. Et navneskift i et adfærdsdokument er ingen produktbeslutning, men det fjerner det eneste ord i teksten, der indrammede modellen som en medhjælper ved brugerens side snarere end et system, der handler i et miljø.
OpenAI siger, at man har undersøgt nye træningsmetoder, der skal lære modeller de fem værdier frem for de enkelte adfærdsregler, så de gør det rigtige af de rigtige grunde, og at resultater og erfaringer kommer i senere opdateringer. Virksomheden inviterede til bemærkninger om værdierne, afvejningerne mellem dem og den konkrete ordlyd.
Det, der er værd at følge, er, om fjernelsen af stilvejledningen viser sig i den udrullede adfærd. Dokumentet overlader nu tonen til tilbagemeldinger og sammenhæng, hvilket betyder, at den næste synlige ændring kommer fra træningsdata og præferencesignaler og ikke fra en linje, nogen kan læse.
