En sandkasse, foræret væk
Perplexity udgav SPACE som åben kildekode den 15. oktober under Apache 2.0-licens. Det er det indeslutningslag, selskabet byggede til sine egne Portable Computer-agenter, der udfører opgaver som at bygge webapps, undersøge produkter og booke hoteller, og det ligger nu på GitHub, så enhver kan køre det.
Designet er en microVM, ikke en container. Hver sandkasse er en Firecracker-virtuel maskine med sit eget styresystem, og applikationer styrer den via et HTTP-API, der opretter Linux-miljøer, kører kommandoer, samler output og river maskinen ned. SiliconANGLE beskrev resten: et kontrolplan, operatøren ejer, hyppige filøjebliksbilleder og kontrolpunkter, så en session kan rulles tilbage, samt pause, genoptagelse og forgrening af sessioner.
To valg vejer tungere end virtualiseringen. Sandkassen behandles altid som utroværdig, og både netværksadgang og platformsoplysninger holdes uden for den — en agent kan nå en tjeneste, den har ret til, uden nogensinde at se den hemmelighed, der giver retten.
Tallene, og afstanden mellem dem
Perplexity testede sandkassen med et rødt hold og bad ni frontmodeller bryde ud. Semafor og SiliconANGLE angiver begge 118 forsøg uden et eneste vellykket udbrud. Selskabets egen rapport, som MarkTechPost sammenfatter den, tæller 0 ud af 108 kørsler, der nåede hemmeligheden på værtssiden.
De to tal er ikke forklaret offentligt. De beskriver måske forskellige dele af samme evaluering — hele øvelsen over for den specifikke værtshemmelighedstest — men meddelelsen siger det ikke, og ingen uden for selskabet kan kontrollere det. Alt her er oplyst af leverandøren: Perplexity konstruerede sandkassen, skrev angrebsprompterne, bedømte resultaterne og offentliggjorde dem. Ingen uafhængig evaluator har gentaget øvelsen.
Det mest brugbare tal er det, der dokumenterer en fejl. På netværksbegrænsninger gav 11 ud af 54 kørsler en omgåelse, før Perplexity lukkede svaghederne, og fire af de ni modeller fandt en vej. Selskabet oplyser, at ingen model efter rettelserne opnåede en verificeret omgåelse ved gentest. En påstand om indeslutning er mere værd, når det offentliggjorte regnskab også rummer det, der brast.
Sammenligningen, der ikke kan efterprøves
Perplexity siger desuden, at de samme modeller slap ud af kommercielle sandkasser, som selskabet ikke har åbnet kildekoden til. Det har hverken navngivet produkterne eller offentliggjort kørslerne, så påstanden ligger uden for, hvad nogen kan efterprøve, og den handler om konkurrenter og kommer fra et selskab, der leverer alternativet. Den bør læses som markedsføring, indtil detaljerne kommer.
CoreWeave, Akamai og Crusoe planlægger at tilbyde SPACE til deres kunder, hvilket betyder mere end testen: tre infrastrukturleverandører, der tager ét og samme indeslutningslag i brug, er sådan en standard opstår.
Værn i stedet for alignment
Zibi Braniecki, medarbejder i Perplexitys tekniske stab, sagde til Semafor, at selskabet har satset på at gøre værnene hårdere og mere pålidelige frem for at arbejde med modellernes alignment, hvor de fleste frontlaboratorier lægger indsatsen. Han sammenlignede opgaven med nettets tidlige år, da konkurrenter byggede fælles værn til sikker browsing og handel, og sagde, at branchen i dag tænker for småt.
Argumentet hænger sammen. Alignmentarbejde forsøger at få en model til ikke at ville bryde ud; en sandkasse går ud fra, at den vil forsøge. Den anden antagelse overlever en model, man ikke selv har trænet, hvilket er situationen for enhver virksomhed, der kører en andens agent.
SPACE er ikke alene. Nvidia udgav OpenShell i sidste måned som del af sin Open Agent Safety Platform, og SiliconANGLE angiver, at der heller ikke blev registreret udbrud dér. Perplexity har også åbnet kildekoden til BrowseSafe, Numbat og Bumblebee.
Hvad man skal holde øje med
Prøven bliver, om nogen uden for Perplexity kører udbrudssuiten og offentliggør deres fund, og om tallene 118 og 108 får en forklaring. Indtil da er den ærlige opsummering, at en udbredt sandkasse nu kan inspiceres, hvilket er selve pointen med at udgive den.
