Argumentet begynder med en indrømmelse
I et opslag offentliggjort lørdag eftermiddag, med titlen “Models as Insider Risks in the Super Intelligence Era” (“Modeller som interne risici i superintelligensens tid”), hævdede Microsofts topchef Satya Nadella, at organisationer, der tager frontmodeller i brug, bør låne de kontroller, de allerede bruger på magtfulde mennesker i huset — og holde op med at behandle en leverandørs garantier som erstatning for deres egne.
Argumentet åbner med noget, ingen kan i dag. Med konventionel software, skrev Nadella, “havde vi værktøjerne og evnen til at spore adfærd til en bestemt kodesti”. Med frontmodeller “kan vi ikke tilskrive modellens adfærd og output bestemte input i træningsdata eller konfigurationer af modelvægte” — og alligevel tages disse modeller i brug, skrev han, “med adgang til vores mest følsomme data og med evnen til at foretage forretningskritiske handlinger på vores vegne”.
Hans konklusion er en overførsel af ansvar, ikke af tillid. “Vi kan simpelthen ikke outsource ansvaret for, hvad intelligens gør på vores vegne”, skrev han. “En modelleverandørs garantier fritager os ikke for det ansvar.” Formuleringen, han bruger om designmålet, er, at “vi må adskille leverancen af intelligens fra myndigheden over den”.
Hvorfor kontrollerne skal ligge uden for modellen
Nadellas indvending mod den oplagte løsning — at lade én model vogte en anden — er, at den ikke mindsker uigennemsigtigheden, men stabler den. “Man kan og bør bruge modeller til at teste og verificere hinanden modstridende”, skrev han. “Men så kan man ende med en uigennemsigtig model inde i et uigennemsigtigt orkestreringslag, overvåget af endnu en uigennemsigtig model. Dybest set indlejrede sorte bokse.”
Alternativet, han griber til, er ældre end feltet. De kontroller, der styrer, hvad en model når, og hvad den må gøre, “skal ligge uden for modellen”, på grund af “et informationssikkerhedsprincip, der går tilbage til 1970’erne: et program må ikke kunne omgå eller manipulere de mekanismer, der håndhæver dets rettigheder”. I praksis betyder det at adskille modellen fra den sele, der orkestrerer dens arbejde, og fra det handlerum, der definerer, hvad den kan gøre.
Han satte også en bundlinje for ræsonnementsgennemsigtighed og navngav det, han ikke vil se brugt som undskyldning. Gennemsigtighed i tankekæden er “ikke til forhandling”, skrev han, og “‘neuralesisk’ kan ikke være en begrundelse for, at modellens ræsonnement er uigennemsigtigt” — samtidig med at han medgav, at gennemsigtighed alene ikke er pålidelig, fordi “vi endnu ikke ved, hvordan vi får modellernes output til konsekvent at være tro eller gennemsigtige”.
Syv principper, inklusive bremsen
Opslaget opregner syv designprincipper. Modelmangfoldighed: ingen enkelt model bør være den eneste afhængighed for et vigtigt udfald eller verificere sit eget arbejde. Observér alt: “Enhver meningsfuld modelhandling skal efterlade manipulationssikker, menneskelæsbar dokumentation.” Verificerbarhed: test hele systemet, inklusive fejl, angreb og grænsetilfælde, ikke kun opgaver der lykkes. Uafhængige kontroller: en organisation bør selv kunne afgøre, hvad en model når og gør. Uafhængig reviderbarhed: “Ingen enkelt model bør styre både et systems adfærd og den dokumentation, der kræves for at afgøre, om adfærden stemmer med den oprindelige hensigt.”
Så indeslutningen, som er den linje, der er nået længst. “Vi må antage, at en model er kompromitteret, og indeslutte den fra starten”, skrev Nadella. “Tænk på det som en nødbremse. En autoriseret person skal altid kunne sætte en model på pause eller slukke den midt i en opgave.” Mere kapable modeller, tilføjede han, vil kræve indeslutningsteknologi, som branchen må standardisere.
Det syvende er hændelsesoplysning: når disse systemer svigter eller kompromitteres, kræves “rettidig oplysning til de berørte” plus en måde at dele, hvad der gik galt, hvilke kontroller der svigtede, og hvordan en gentagelse undgås — herunder, præciserede han, de implementeringsdetaljer, der ændrer agenters adfærd under kørsel.
Hvad man skal følge
Nadella forpligtede ikke Microsoft på noget konkret, og principperne er formuleret som et argument, ikke som en produktplan eller en standard. Det, der alligevel gør dem værd at læse, er, hvem der formulerer dem, og hvilken retning de peger: væk fra spørgsmålet om, hvorvidt en given model er til at stole på, og hen mod systemer, der ikke kræver det. Hans sidste linje siger det ligeud: “Det mest troværdige superintelligenssystem bliver ikke det med den model, vi stoler mest på. Det bliver det, der lader os stole mindst muligt på modellen.”
To af de syv — observerbarhed og hændelsesoplysning — er desuden genstand for igangværende politiske kampe. Om Microsoft fremfører dem i de fora, og ikke kun på topchefens eget feed, er det næste at følge.
