Vad artikeln gör
En artikel som lades upp på arXiv den 5 oktober, H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, tränar en stapel av handlingsbetingade JEPA-världsmodeller i stället för en enda.
Tanken är en arbetsfördelning i tiden. Varje nivå förutsäger längre fram än nivån under, i sitt eget inlärda latenta rum. Planeringen går sedan uppifrån och ner: den översta nivån skissar en grov rutt, och det den förutsäger blir det delmål nivån under måste nå, ända ner till den nivå som avger handlingar. Ingenting anges för hand; hierarkin lärs in från början till slut.
Gemensamt inbäddande prediktiva arkitekturer undviker redan att förutsäga pixlar, vilket är det som gör dem billiga nog att planera med. Bidraget här är att ett enda platt latent rum visar sig vara fel kornighet för en lång uppgift, och att lösningen är fler nivåer snarare än en större modell.
Siffrorna
Huvudresultatet gäller Visual AntMaze, där en hierarki i tre nivåer höjde andelen lyckade försök från 18% till 73% jämfört med en platt JEPA, och gjorde det med mindre beräkning för planeringen. Det är den jämförelse författarna leder med på projektsidan och i sammanfattningen.
I de fyra simulerade miljöer de testar — AntMaze, FourRoom, Push-T och OGBench-uppgiften Cube — förbättrar fler nivåer upp till tre avvägningen mellan framgång och beräkning. Vinsterna är inte jämna: på Push-T matchar eller överträffar en modell med två nivåer den platta referensen, vilket är den sorts resultat som säger att hierarkin gör nytta på uppgifter med lång horisont snarare än överallt.
VentureBeat rapporterar att trenivåmodellen i AntMaze nådde nästan dubbelt så hög andel lyckade försök som HWM, en annan hierarkisk världsmodell, vilket är den jämförelse som betyder mer än den platta referensen.
Delen som pekar mot riktiga robotar
De simulerade resultaten är den lätta halvan. Författarna tillämpar också metoden på DROID, en datamängd med video av verklig robotmanipulation, och lägger till ett mål för invers dynamik: att träna modellen att återskapa vilken handling som förbinder två observationer. De rapporterar att detta bevarar handlingsrelevant information i representationen som annars skulle kastas bort, och förbättrar planeringens trohet offline med mindre beräkning. Projektsidan anger detta kvalitativt och inte med en tabell.
Vilka som skrivit den
Författarna är Wancong Zhang, Basile Terver, Michael Rabbat, Yann LeCun och Randall Balestriero, med angivna hemvister vid NYU, Advanced Machine Intelligence, INRIA Paris och Brown University. Zhang och Terver anges som jämbördiga bidragsgivare, LeCun och Balestriero som jämbördiga handledare. VentureBeat beskriver AMI som LeCuns Advanced Machine Intelligence Labs. Koden är publicerad på github.com/kevinghst/H-JEPA.
Härkomsten spelar roll för hur påståendet ska läsas. LeCun har i åratal hävdat att förutsägelse i en inlärd representation, inte i pixlar, är vägen till agenter som planerar, och att det som saknas är abstraktion på mer än en tidsskala. Det här är det argumentet med siffror vidhängda.
Vad att följa
Om någon återskapar AntMaze-språnget utanför författarnas egen uppställning, och om DROID-utvidgningen blir ett kvantitativt resultat på en riktig robot i stället för planeringstrohet offline på inspelad video. Det är olika påståenden, och bara det första är mätt i dag.
