Qué hace el artículo
Un artículo publicado en arXiv el 5 de octubre, H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, entrena una pila de modelos del mundo JEPA condicionados a la acción en lugar de uno solo.
La idea es un reparto del trabajo en el tiempo. Cada nivel predice más lejos que el de abajo, en su propio espacio latente aprendido. La planificación va entonces de arriba abajo: el nivel superior traza una ruta gruesa, y lo que predice se convierte en el subobjetivo que debe alcanzar el nivel inferior, hasta el nivel que emite acciones. Nada se especifica a mano; la jerarquía se aprende de extremo a extremo.
Las arquitecturas predictivas de incrustación conjunta ya evitan predecir píxeles, que es lo que las hace lo bastante baratas para planificar con ellas. La aportación aquí es que un único espacio latente plano resulta ser la granularidad equivocada para una tarea larga, y que la solución son más niveles y no un modelo mayor.
Las cifras
El resultado principal es en Visual AntMaze, donde una jerarquía de tres niveles elevó la tasa de éxito del 18% al 73% frente a un JEPA plano, y lo hizo con menos cómputo de planificación. Esa es la comparación con la que abren los autores en la página del proyecto y en el resumen.
En los cuatro entornos simulados que prueban —AntMaze, FourRoom, Push-T y la tarea Cube de OGBench— añadir niveles hasta tres mejora el equilibrio entre éxito y cómputo. Las ganancias no son uniformes: en Push-T un modelo de dos niveles iguala o supera la referencia plana, que es la clase de resultado que indica que la jerarquía se gana su sitio en tareas de horizonte largo y no en todas partes.
VentureBeat informa de que en AntMaze el modelo de tres niveles alcanzó casi el doble de tasa de éxito que HWM, otro modelo del mundo jerárquico, que es la comparación que importa más que la referencia plana.
La parte que apunta a robots reales
Los resultados simulados son la mitad fácil. Los autores aplican además el método a DROID, un conjunto de vídeo real de manipulación robótica, y añaden un objetivo de dinámica inversa: entrenar al modelo para recuperar qué acción conecta dos observaciones. Informan de que así se conserva en la representación información relevante para la acción que de otro modo se descartaría, y de que mejora la fidelidad de la planificación fuera de línea con menos cómputo. La página del proyecto lo expone de forma cualitativa y no con una tabla.
Quién lo firma
Los autores son Wancong Zhang, Basile Terver, Michael Rabbat, Yann LeCun y Randall Balestriero, con afiliaciones a NYU, Advanced Machine Intelligence, INRIA París y la Universidad Brown. Zhang y Terver son contribuyentes en igualdad; LeCun y Balestriero, asesores en igualdad. VentureBeat describe AMI como los Advanced Machine Intelligence Labs de LeCun. El código está publicado en github.com/kevinghst/H-JEPA.
El linaje importa para leer la afirmación. LeCun lleva años sosteniendo que predecir en una representación aprendida, y no en píxeles, es la vía hacia agentes que planifican, y que lo que falta es abstracción en más de una escala temporal. Esto es ese argumento con cifras pegadas.
Qué vigilar
Si alguien reproduce el salto de AntMaze fuera del montaje de los propios autores, y si la extensión a DROID se convierte en un resultado cuantitativo sobre un robot real en lugar de fidelidad de planificación fuera de línea sobre vídeo grabado. Son afirmaciones distintas, y sólo la primera está medida ahora mismo.
