Argumentet börjar med ett erkännande
I ett inlägg publicerat på lördagseftermiddagen, med titeln “Models as Insider Risks in the Super Intelligence Era” (“Modeller som interna risker i superintelligensens tid”), hävdade Microsofts vd Satya Nadella att organisationer som driftsätter frontmodeller bör låna de kontroller de redan använder för mäktiga människor inne i huset — och sluta behandla en leverantörs garantier som ersättning för sina egna.
Argumentet inleds med något ingen för närvarande kan göra. Med konventionell programvara, skrev Nadella, “hade vi verktygen och förmågan att spåra beteenden till en specifik kodväg”. Med frontmodeller “kan vi inte tillskriva modellens beteenden och utdata specifika indata i träningsdata eller konfigurationer av modellvikter” — och ändå driftsätts dessa modeller, skrev han, “med tillgång till våra känsligaste data och med förmågan att vidta verksamhetskritiska åtgärder å våra vägnar”.
Hans slutsats är en överföring av ansvar, inte av förtroende. “Vi kan helt enkelt inte lägga ut ansvaret för vad intelligens gör å våra vägnar”, skrev han. “En modellleverantörs garantier befriar oss inte från det ansvaret.” Formuleringen han använder för designmålet är att “vi måste skilja tillgången på intelligens från befogenheten över den”.
Varför kontrollerna måste ligga utanför modellen
Nadellas invändning mot den uppenbara lösningen — låta en modell vakta en annan — är att den inte minskar ogenomskinligheten utan staplar den. “Man kan och bör använda modeller för att motstridigt testa och verifiera varandra”, skrev han. “Men då kan man sluta med en ogenomskinlig modell inuti ett ogenomskinligt orkestreringslager, bevakad av ännu en ogenomskinlig modell. I grunden nästlade svarta lådor.”
Alternativet han griper efter är äldre än fältet. De kontroller som styr vad en modell kommer åt och vad den får göra “måste ligga utanför modellen”, på grund av “en informationssäkerhetsprincip som går tillbaka till 1970-talet: ett program får inte kunna kringgå eller manipulera de mekanismer som upprätthåller dess behörigheter”. I praktiken innebär det att skilja modellen från den sele som orkestrerar dess arbete och från det handlingsutrymme som definierar vad den kan göra.
Han satte också en lägstanivå för resonemangstransparens och namngav det han inte vill se använt som ursäkt. Transparens i tankekedjan är “icke förhandlingsbar”, skrev han, och “‘neuralesiska’ kan inte vara ett skäl till att modellens resonemang är ogenomskinligt” — samtidigt som han medgav att transparens ensam inte är pålitlig, eftersom “vi ännu inte vet hur vi får modellernas utdata att konsekvent vara trogna eller genomskinliga”.
Sju principer, inklusive bromsen
Inlägget räknar upp sju designprinciper. Modellmångfald: ingen enskild modell bör vara det enda beroendet för ett viktigt utfall, eller verifiera sitt eget arbete. Observera allt: “Varje meningsfull modellåtgärd måste lämna manipuleringssäker, människoläsbar bevisning.” Verifierbarhet: testa hela systemet, inklusive fel, angrepp och gränsfall, inte bara uppgifter som lyckas. Oberoende kontroller: en organisation bör själv kunna avgöra vad en modell når och gör. Oberoende granskningsbarhet: “Ingen enskild modell bör styra både ett systems beteende och den bevisning som krävs för att avgöra om beteendet stämmer med den ursprungliga avsikten.”
Sedan inneslutningen, som är den rad som rest längst. “Vi måste anta att en modell är komprometterad och innesluta den från början”, skrev Nadella. “Tänk på det som en nödbroms. En behörig person ska alltid kunna pausa eller stänga av en modell mitt i en uppgift.” Mer kapabla modeller, tillade han, kommer att kräva inneslutningsteknik som branschen måste standardisera.
Den sjunde är incidentrapportering: när systemen fallerar eller komprometteras krävs “snabb information till de drabbade” plus ett sätt att dela vad som gick fel, vilka kontroller som brast och hur en upprepning undviks — inklusive, preciserade han, de implementationsdetaljer som ändrar agenters beteende vid körning.
Vad man ska följa
Nadella band inte Microsoft vid något konkret i inlägget, och principerna är formulerade som ett argument, inte som en produktplan eller en standard. Det som ändå gör dem värda att läsa är vem som formulerar dem och åt vilket håll de pekar: bort från frågan om en viss modell går att lita på, och mot system som inte kräver att den gör det. Hans sista rad säger det rakt ut: “Det mest pålitliga superintelligenssystemet kommer inte att vara det med den modell vi litar mest på. Det blir det som låter oss lita på modellen minst.”
Två av de sju — observerbarhet och incidentrapportering — är dessutom föremål för pågående politiska strider. Om Microsoft driver dem i de forumen, och inte bara på vd:ns flöde, är nästa sak att följa.
