Fem värden i stället för en regelbok
OpenAI publicerade en uppdaterad Model Spec den 29 oktober och byggde om dokumentet kring fem uttalade värden: trohet mot mänsklig avsikt, minimerad skada, ärlighet och öppenhet, mänskligt handlingsutrymme och omsorg. Företaget beskrev förändringen som ett steg i arbetet med värdeanpassning, med målet att modeller ska kunna tillämpa mänskliga värden i situationer som instruktionerna inte uttryckligen täcker.
Model Spec har betydelse eftersom det är den enda offentliga text där OpenAI binder sig vid hur dess modeller bör uppföra sig, och eftersom företaget tränar mot den. Den beskriver inte hur modellerna faktiskt uppför sig. OpenAI sade det rakt ut: dokumentet beskriver det beteende företaget arbetar mot, och modellerna speglar det ännu inte fullt ut.
Det som lades till
Det nya avsnittet om trohet mot mänsklig avsikt utgår från att det människor värderar kommer först, och att instruktioner oftast är den tydligaste signalen om de värdena. OpenAI säger att ansatsen lånar från assistansspelsramverket inom anpassningsforskning, och att avsnittet bär en uppdaterad befälsordning som fastslår vilka instruktioner som gäller och hur konflikter mellan dem löses.
Ett nytt underavsnitt, överväg sammanhanget noga, handlar om hur konversationer, minnen och andra sammanhangsledtrådar ska forma modellens läsning av vad en människa vill. Företagets exempel är vardagligt och avslöjande: när modellen jämför två jobberbjudanden kan den väga in en preferens användaren nämnt tidigare — förutsägbara arbetstider — samtidigt som antagandet görs synligt och lätt att rätta.
OpenAI lade också till förvalda beteenden om att stödja mänskligt handlingsutrymme och att följa relevanta sociala normer, och utvidgade den befintliga vägledningen om att kontrollera och förmedla sidoeffekterna av modellens arbete.
Det som togs bort
Den större förändringen är en subtraktion. OpenAI säger att man tar bort merparten av dokumentets detaljerade stilvägledning, med resonemanget att stil bör anpassa sig efter vad människor föredrar — sammantaget, inom språk och kulturer och för varje person — där användarnas återkoppling och sammanhanget utgör underlaget.
En gräns överlever. Dokumentet behåller starkare förval som att närma sig frågor objektivt, och OpenAI drog en linje kring dem: användare och utvecklare kan uttryckligen be modellen inta ett visst perspektiv, men modellen ska inte härleda den preferensen ur vad den tror att de vill höra. Det är en regel mot inställsamhet formulerad som förval i stället för stilanvisning, vilket är hela poängen med att flytta ut den ur stilavsnittet.
Modellen heter nu GPT
Dokumentet slutar också kalla sitt ämne “assistenten”. OpenAI säger att man nu genomgående kallar modellen “GPT”, med hänvisning till den breddade användningen och de miljöer modellerna körs i. Ett namnbyte i ett beteendedokument är inget produktbeslut, men det tar bort det enda ord i texten som ramade in modellen som en medhjälpare vid användarens sida snarare än ett system som handlar i en miljö.
OpenAI säger att man utforskar nya träningsmetoder för att lära modeller de fem värdena i stället för de enskilda beteendereglerna, med målet att de ska göra rätt saker av rätt skäl, och att resultat och lärdomar kommer att publiceras i kommande uppdateringar. Företaget bjöd in till synpunkter på värdena, avvägningarna mellan dem och den konkreta formuleringen.
Det som är värt att följa är om borttagandet av stilvägledningen syns i det utrullade beteendet. Dokumentet lämnar nu tonen till återkoppling och sammanhang, vilket betyder att nästa märkbara förändring kommer från träningsdata och preferenssignaler snarare än från en rad någon kan läsa.
