Argumentet begynner med en innrømmelse
I et innlegg publisert lørdag ettermiddag, med tittelen “Models as Insider Risks in the Super Intelligence Era” (“Modeller som interne risikoer i superintelligensens tid”), hevdet Microsoft-sjef Satya Nadella at organisasjoner som tar i bruk frontmodeller bør låne kontrollene de allerede bruker på mektige mennesker i huset — og slutte å behandle en leverandørs garantier som erstatning for sine egne.
Argumentet åpner med noe ingen klarer i dag. Med konvensjonell programvare, skrev Nadella, “hadde vi verktøyene og evnen til å spore atferd til en bestemt kodesti”. Med frontmodeller “kan vi ikke tilskrive modellens atferd og utdata bestemte inndata i treningsdata eller konfigurasjoner av modellvekter” — og likevel tas disse modellene i bruk, skrev han, “med tilgang til våre mest sensitive data og med evnen til å utføre virksomhetskritiske handlinger på våre vegne”.
Konklusjonen hans er en overføring av ansvar, ikke av tillit. “Vi kan rett og slett ikke sette ut ansvaret for hva intelligens gjør på våre vegne”, skrev han. “En modellleverandørs garantier fritar oss ikke for det ansvaret.” Formuleringen han bruker om designmålet, er at “vi må skille tilførselen av intelligens fra myndigheten over den”.
Hvorfor kontrollene må ligge utenfor modellen
Nadellas innvending mot den åpenbare løsningen — å la én modell vokte en annen — er at den ikke reduserer ugjennomsiktigheten, men stabler den. “Man kan og bør bruke modeller til å teste og verifisere hverandre motstridende”, skrev han. “Men da kan man ende opp med en ugjennomsiktig modell inne i et ugjennomsiktig orkestreringslag, overvåket av enda en ugjennomsiktig modell. I bunn og grunn nøstede svarte bokser.”
Alternativet han griper til, er eldre enn feltet. Kontrollene som styrer hva en modell når og hva den får gjøre “må ligge utenfor modellen”, på grunn av “et informasjonssikkerhetsprinsipp som går tilbake til 1970-tallet: et program må ikke kunne omgå eller manipulere mekanismene som håndhever rettighetene dets”. I praksis betyr det å skille modellen fra selen som orkestrerer arbeidet, og fra handlingsrommet som definerer hva den kan gjøre.
Han satte også en bunnlinje for resonnementstransparens, og navnga det han ikke vil se brukt som unnskyldning. Transparens i tankekjeden er “ikke forhandlingsbart”, skrev han, og “‘neuralesisk’ kan ikke være en begrunnelse for at modellens resonnement er ugjennomsiktig” — samtidig som han medga at transparens alene ikke er pålitelig, fordi “vi ennå ikke vet hvordan vi får modellenes utdata til konsekvent å være tro eller gjennomsiktige”.
Sju prinsipper, inkludert bremsen
Innlegget lister opp sju designprinsipper. Modellmangfold: ingen enkelt modell bør være den eneste avhengigheten for et viktig utfall, eller verifisere sitt eget arbeid. Observer alt: “Hver meningsfull modellhandling må etterlate manipuleringssikker, menneskelesbar dokumentasjon.” Verifiserbarhet: test hele systemet, inkludert feil, angrep og grensetilfeller, ikke bare oppgaver som lykkes. Uavhengige kontroller: en organisasjon bør selv kunne bestemme hva en modell når og gjør. Uavhengig reviderbarhet: “Ingen enkelt modell bør styre både et systems atferd og dokumentasjonen som kreves for å avgjøre om atferden stemmer med den opprinnelige hensikten.”
Så innesperringen, som er linjen som har reist lengst. “Vi må anta at en modell er kompromittert og sperre den inne fra starten”, skrev Nadella. “Tenk på det som en nødbrems. En autorisert person skal alltid kunne pause eller slå av en modell midt i en oppgave.” Mer kapable modeller, la han til, vil kreve innesperringsteknologi bransjen må standardisere.
Det sjuende er hendelsesrapportering: når disse systemene svikter eller kompromitteres, kreves “rask varsling til de berørte” pluss en måte å dele hva som gikk galt, hvilke kontroller som sviktet og hvordan gjentakelse unngås — inkludert, presiserte han, de implementasjonsdetaljene som endrer agenters atferd under kjøring.
Hva man skal følge
Nadella forpliktet ikke Microsoft til noe konkret, og prinsippene er formulert som et argument, ikke som et produktveikart eller en standard. Det som likevel gjør dem verdt å lese, er hvem som formulerer dem og hvilken retning de peker: bort fra spørsmålet om en gitt modell er til å stole på, og mot systemer som ikke krever at den er det. Siste linje sier det rett ut: “Det mest pålitelige superintelligenssystemet blir ikke det med modellen vi stoler mest på. Det blir det som lar oss stole minst mulig på modellen.”
To av de sju — observerbarhet og hendelsesrapportering — er dessuten gjenstand for pågående politiske kamper. Om Microsoft fremmer dem i de foraene, og ikke bare på sjefens egen konto, er det neste å følge.
