En sandlåda, bortskänkt
Perplexity släppte SPACE som öppen källkod den 15 oktober, under Apache 2.0-licens. Det är det inneslutningslager bolaget byggde för sina egna Portable Computer-agenter, som utför uppgifter som att bygga webbappar, undersöka produkter och boka hotell, och det ligger nu på GitHub för vem som helst att köra.
Konstruktionen är en microVM, inte en container. Varje sandlåda är en Firecracker-virtuell maskin med eget operativsystem, och applikationer styr den via ett HTTP-API som skapar Linux-miljöer, kör kommandon, samlar in utdata och river maskinen. SiliconANGLE beskrev resten: ett styrplan som operatören äger, täta filögonblicksbilder och kontrollpunkter så att en session kan rullas tillbaka, samt paus, återupptagning och förgrening av sessioner.
Två beslut väger tyngre än virtualiseringen. Sandlådan behandlas alltid som opålitlig, och både nätverksåtkomst och plattformsuppgifter hålls utanför den — en agent kan nå en tjänst den har rätt till utan att någonsin se hemligheten som ger den rätten.
Siffrorna, och glappet mellan dem
Perplexity red team-testade sandlådan genom att instruera nio frontmodeller att bryta sig ut. Semafor och SiliconANGLE uppger båda 118 försök utan en enda lyckad utbrytning. Bolagets egen rapport, som den sammanfattas av MarkTechPost, räknar 0 av 108 körningar som nådde hemligheten på värdsidan.
De två siffrorna har inte förklarats offentligt. De kan beskriva olika delar av samma utvärdering — hela red team-övningen mot det specifika värdhemlighetstestet — men tillkännagivandet säger inte det, och ingen utanför bolaget kan kontrollera saken. Allt här kommer från leverantören: Perplexity konstruerade sandlådan, skrev angreppsprompterna, poängsatte resultaten och publicerade dem. Ingen oberoende utvärderare har upprepat övningen.
Den mer användbara siffran är den som dokumenterar ett misslyckande. På nätverksbegränsningar gav 11 av 54 körningar en kringgång innan Perplexity täppte till svagheterna, och fyra av de nio modellerna hittade en väg. Bolaget uppger att ingen modell efter åtgärderna åstadkom en verifierad kringgång vid omtestning. Ett inneslutningspåstående är värt mer när den publicerade redovisningen också innehåller det som brast.
Jämförelsen som inte går att kontrollera
Perplexity hävdar också att samma modeller tog sig ut ur kommersiella sandlådor som bolaget inte har öppen källkod på. Det har inte namngett produkterna eller publicerat körningarna, så påståendet ligger utanför vad någon kan verifiera, och det är ett påstående om konkurrenter från ett bolag som levererar alternativet. Det bör läsas som marknadsföring tills detaljerna kommer.
CoreWeave, Akamai och Crusoe planerar att erbjuda SPACE till sina kunder, vilket betyder mer än testet: tre infrastrukturleverantörer som antar ett och samma inneslutningslager är hur en standard uppstår.
Skyddsräcken i stället för alignment
Zibi Braniecki, medarbetare i Perplexitys tekniska stab, sade till Semafor att bolaget har satsat på att göra skyddsräckena hårdare och mer pålitliga i stället för på modellernas alignment, dit de flesta frontlaboratorier lägger kraften. Han jämförde uppgiften med webbens tidiga år, när konkurrenter byggde gemensamma skyddsräcken för säker surfning och handel, och sade att branschen i dag tänker för smått.
Resonemanget har sin logik. Alignmentarbete försöker få en modell att inte vilja bryta sig ut; en sandlåda utgår från att den kommer att försöka. Det andra antagandet överlever en modell man inte har tränat själv, vilket är situationen för varje bolag som kör någon annans agent.
SPACE är inte ensamt. Nvidia släppte OpenShell förra månaden som del av sin Open Agent Safety Platform, och SiliconANGLE uppger att inga utbrytningar registrerades där heller. Perplexity har dessutom öppnat källkoden för BrowseSafe, Numbat och Bumblebee.
Vad man ska hålla ögonen på
Provet blir om någon utanför Perplexity kör utbrytningssviten och publicerar sina resultat, och om siffrorna 118 och 108 får en förklaring. Till dess är den ärliga sammanfattningen att en brett använd sandlåda nu går att granska, vilket är själva poängen med att släppa den.
