Fem verdier i stedet for en regelbok
OpenAI la fram en oppdatert Model Spec 29. oktober og bygget dokumentet om rundt fem uttalte verdier: troskap mot menneskelig hensikt, redusert skade, ærlighet og åpenhet, menneskelig handlingsrom og omsorg. Selskapet beskrev endringen som et steg i arbeidet med verdijustering, med mål om at modeller skal kunne anvende menneskelige verdier i situasjoner instruksjonene ikke uttrykkelig dekker.
Model Spec betyr noe fordi det er den eneste offentlige teksten der OpenAI forplikter seg på hvordan modellene bør oppføre seg, og fordi selskapet trener mot den. Den beskriver ikke hvordan modellene faktisk oppfører seg. OpenAI sa det rett ut: dokumentet beskriver atferden selskapet arbeider mot, og modellene gjenspeiler den ennå ikke fullt ut.
Det som ble lagt til
Den nye delen om troskap mot menneskelig hensikt tar utgangspunkt i at det folk verdsetter kommer først, og at instruksjoner vanligvis er det klareste signalet om disse verdiene. OpenAI sier at tilnærmingen låner fra assistansespill-rammeverket i justeringsforskning, og at delen bærer en oppdatert kommandolinje som fastsetter hvilke instruksjoner som gjelder og hvordan konflikter mellom dem løses.
En ny underdel, vurder sammenhengen nøye, forklarer hvordan samtaler, minner og andre kontekstspor skal forme modellens lesning av hva et menneske vil. Eksempelet selskapet gir er hverdagslig og avslørende: når modellen sammenligner to jobbtilbud, kan den trekke på en preferanse brukeren nevnte tidligere — forutsigbar arbeidstid — samtidig som antakelsen gjøres synlig og lett å rette.
OpenAI la også til standarder om å støtte menneskelig handlingsrom og å følge relevante sosiale normer, og utvidet den eksisterende veiledningen om å kontrollere og formidle sidevirkningene av modellens arbeid.
Det som ble fjernet
Den største endringen er et fratrekk. OpenAI sier det fjerner det meste av den detaljerte stilveiledningen i dokumentet, med den begrunnelsen at stil bør tilpasse seg det folk foretrekker — samlet, innenfor språk og kulturer og for hver person — med tilbakemeldinger og sammenheng som grunnlag.
Én grense overlever. Dokumentet beholder sterkere standarder som å gå objektivt til verks, og OpenAI trakk en strek rundt dem: brukere og utviklere kan uttrykkelig be modellen innta et bestemt perspektiv, men modellen skal ikke utlede den preferansen av hva den tror de vil høre. Det er en regel mot smisking formulert som standard og ikke som stilnotat, som er hele poenget med å flytte den ut av stildelen.
Modellen heter nå GPT
Dokumentet slutter også å kalle emnet sitt «assistenten». OpenAI sier det nå omtaler modellen som «GPT» gjennomgående, med henvisning til det bredere spekteret av bruksområder og driftsmiljøer. Et navnebytte i et atferdsdokument er ingen produktbeslutning, men det fjerner det eneste ordet i teksten som rammet modellen inn som en medhjelper ved brukerens side heller enn et system som handler i et miljø.
OpenAI sier det har utforsket nye treningsmetoder for å lære modeller de fem verdiene heller enn de enkelte atferdsreglene, med sikte på at de skal gjøre de riktige tingene av de riktige grunnene, og at resultater og lærdommer kommer i senere oppdateringer. Selskapet inviterte til innspill på verdiene, avveiningene mellom dem og den konkrete ordlyden.
Det som er verdt å følge, er om fjerningen av stilveiledningen viser seg i utrullet atferd. Dokumentet overlater nå tonen til tilbakemeldinger og sammenheng, som betyr at den neste synlige endringen kommer fra treningsdata og preferansesignaler og ikke fra en linje noen kan lese.
