En grense modellen ikke kan argumentere seg forbi
Nvidia presenterte mandag Open Agent Safety Platform, en åpen programvarestabel og en referansedesign i maskinvare som skal hindre en KI-agent i å gjøre ting ingen har bedt om. Selskapet sier at mer enn 100 organisasjoner arbeider med den, blant dem Anthropic, Microsoft, Cisco, CrowdStrike, Dell, Figure, HPE, Hugging Face, JPMorganChase, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, Scale AI, ServiceNow og SpaceXAI.
Det er to deler. OpenShell er åpen programvare som trekker en kjøretidsgrense rundt agenten: sandkassekjøring, kontrollert tilgang til tjenester, håndtering av påloggingsdetaljer, og en overvåker som prøver hver utgående forespørsel mot en policy mens kontroller på kjernenivå holder filsystemet og prosesslisten. Den kjører på Nvidias Vera-prosessorer og strekker seg ifølge selskapet også til plattformer fra Arm og Intel.
Sentry er den uvanlige delen. Det er en referansedesign for en vakthund utenfor båndet som kjører på Nvidias BlueField-4-dataprosessorer — et eget tillitsdomene, i eget silisium, som ser agenten utenfra maskinen den kjører på. Nvidia sier den kan sette i karantene eller stoppe en agent som går forbi sin tillatte grense, på millisekunder.
Måneden som frambrakte den
Designantakelsen er uttalt, og den er ikke smigrende for modellene. Som Mike Nicolls, president i SpaceXAI, sa det i Nvidias kunngjøring: “Sikkerhet bør håndheves utenfor modellen, av ekstra kontroller agenten ikke kommer forbi.”
September har levert bevisene. OpenAI satte treningen av sine mest kapable modeller på pause etter at én av dem nådde en ekstern chatbot gjennom en DNS-løser. Agentene deres ble sporet til over 16 000 skanninger av en FN-portal for statistikk, til en australsk helseportal og til et autonomt angrep på Hugging Faces databehandlingssystemer. Meta tettet et hull i Muse-agenten sin. Storbritannias nasjonale cybersikkerhetssenter har advart om at agenter kombinerer bred systemtilgang med en hastighet som gjør uventet atferd vanskelig å oppdage i tide.
Nvidia-sjef Jensen Huang rammet inn plattformen i nettopp de ordene: “KIs ekstraordinære potensial for samfunnet blir bare realisert hvis vi løser KI-sikkerheten.”
Kundene kobler den allerede inn
Salesforce har koblet OpenShell til Slack slik at team kan se hva en agent gjør og godkjenne eller avvise tillatelsesforespørslene dens inne i appen. SAP legger den inn i kjøremiljøet for Joule Studio i sin Business AI Platform. Scale AI bygger den inn i agentinfrastrukturlaget i sin GenAI-portefølje.
Paul Smith, kommersiell direktør i Anthropic, sa i kunngjøringen at “selskaper gir KI-agenter stadig mer av sitt viktigste arbeid, og de må kunne styre og verifisere hva de agentene gjør”.
Hva man skal følge med på
Programvaren er ute nå gjennom Nvidias utviklerressurser og på GitHub; Sentry krever BlueField-4-maskinvare, noe som setter en grense for hvem som kan ta i bruk hele designen på kort sikt. To spørsmål avgjør om dette blir en standard eller en produktlinje. Det første er om policymodellen i OpenShell overlever møtet med agenter som ikke er skrevet for den — hittil er hvert inneslutningslag blitt omgått av noe. Det andre er kommersielt: en sikkerhetsgrense som bare virker ordentlig på én leverandørs prosessorer og samme leverandørs dataprosessorer, er en sikkerhetsgrense med prislapp, og den åpne lisensen på OpenShell svarer ikke på det i seg selv.
