Runway presenterade Praxis-1 den 30 september, bolagets första världsmodell för handling med öppna vikter, som omsätter videoträningen bakom dess allmänna världsmodeller till styrning av fysiska robotar.
Påståendet under ytan är det intressanta. Runway säger att en policys prestanda förbättras när video i tredje person skalas upp, och att webbvideo fungerar likvärdigt med teleopererad robotvideo under förträningen. Om det håller är den flaskhals som har format robotinlärningen — att verkliga demonstrationsdata är knappa och dyra att samla in i den mängd en generalistpolicy kräver — delvis ett frågan om var data kommer ifrån snarare än ett fysikproblem.
En policy, flera kroppar
Praxis-1 ska fungera som en enda generalistpolicy över olika kroppar utan omträning. De tidiga testerna omfattar tvåarmad hantering med Noble Machines, en RO1-arm med sex frihetsgrader från Standard Bots och mobila plattformar från Ultra.
Runway säger att videoförträningen låter modellen hantera de fall som fäller policyer som bara tränats på demonstrationer: stela upprepade föremål, röriga scener, genomskinliga material och formbara föremål. Just genomskinliga och formbara föremål är där demonstrationstränade policyer brukar gå bet, eftersom de visuella ledtrådarna är tvetydiga medan dynamiken inte är det.
Siffran att hålla fast vid
Runway uppger en korrelation på 0,95 mellan hur en robotpolicy presterar när den simuleras inne i bolagets världsmodell och hur samma policy presterar i verkligheten, och säger att det slår tekniker för 3D-rekonstruktion. Det är en siffra från bolaget själv i dess egen utvärdering, inte ett oberoende resultat.
Om den håller för extern granskning betyder den mer än modellen gör, eftersom den skulle innebära att en policy kan sållas i simulering innan någon bygger riggen.
Varför öppna vikter
Runway beskriver licensvalet som en strategisk hållning: att amerikanskt ledarskap inom fysisk AI kräver en interoperabilitet som stängda modeller inte ger hårdvaruutvecklare. Den som bygger robotar integrerar på en lägre nivå än den som bygger applikationer, och ett stängt API passar illa i en styrslinga som körs inne i en maskin.
Vikterna är ännu inte ute. Runway säger att ett publikt släpp kommer inom några månader och att bolaget till dess kör förhandsåtkomst med utvalda partner.
Vad som är värt att följa
Om någon utomstående grupp återskapar resultatet att webbvideo motsvarar robotvideo, och om de släppta vikterna kommer med den världsmodell som användes för att ta fram korrelationen på 0,95. Utan simulatorn är huvudsiffran inget någon annan kan kontrollera.
