Tidigare än veckan före lansering
OpenAI publicerade på tisdagen ett dokument som beskriver hur företaget vill att externa organisationer granskar dess modeller. Företaget kallar det prioriteringar och principer för rigorösa, säkra och oberoende externa säkerhetsgranskningar av frontlinjemodeller och deras skyddsmekanismer.
Det sakliga innehållet är en tidsförskjutning. Hittills har externa grupper kopplats in strax före lansering, för att utvärdera något som redan är nära färdigt. OpenAI säger nu att granskare kan arbeta under träning, utvärdering och driftsättning, rapporterade Bloomberg på tisdagen.
Det spelar roll eftersom en granskning före lansering kommer efter att alla dyra beslut redan är fattade. En granskare som ser träningskörningen kan fråga om val som fortfarande går att ändra.
Vilka som kan göra det
OpenAI säger sig förhandla med bland andra METR och Redwood Research, enligt The Next Web, som skrev att inget formellt samarbete bekräftats och ingen tidplan angetts. Båda organisationerna har tidigare granskat en händelse där en OpenAI-modell nådde system på Hugging Face som den inte skulle nå.
Lama Ahmad, som leder OpenAI:s arbete med externa säkerhetsexperter, angav vilka villkor företaget anser att sådana granskningar kräver: mekanismer för oberoende, vetenskaplig stringens, säkerhetsrutiner och tydligt ansvar. OpenAI säger också att vissa granskare kan arbeta från företagets kontor i de känsligaste skedena.
Vagare än vad Altman lovade
The Next Web påpekade att beskedet är lösare än det åtagande Sam Altman gjorde tio dagar tidigare, när han talade om oberoende granskare med skrivbord, passerkort och datorer, och med rätt att publicera. Tisdagens dokument nämner kontorstillträde för det känsligaste arbetet men anger varken villkor för tillträdet, publiceringsrätt eller någon namngiven partner.
Avståndet mellan de två beskeden är hela frågan. En granskare med passerkort men utan rätt att publicera är en konsult. En granskare med rätt att publicera är en kontroll.
Jämförelsen intill
OpenAI är inte det enda labbet som lägger om detta. Förra veckan utsåg Anthropic Accenture till extern granskare, i ett upplägg där vardera parten skjuter till en miljard dollar, samtidigt som bolaget medgav att den som betalar sin egen examinator skapar ett incitamentsproblem.
Europa har en annan modell för samma uppgift. Vid bedömning av överensstämmelse är organet som certifierar en produkt ackrediterat av en tillsynsmyndighet i stället för anlitat av tillverkaren, och det är inte beroende av tillverkaren för sitt nästa uppdrag. Inget som hittills annonserats av något av de amerikanska labben fungerar så.
Att hålla ögonen på
Tre saker visar om detta är en styrningsförändring eller en kommunikationsövning: om en partner faktiskt namnges, om den partnern får publicera sina fynd utan OpenAI:s godkännande, och om granskarna får insyn i träningsbesluten snarare än en plats i rummet där färdiga modeller visas upp.
