RoboJEPA: Scaling Robotic Latent World Models
En palabras de los autores
Latent world models have shown a remarkable ability to predict future states and to plan in the real world. In practice, however, we lack a principled way to estimate how their capabilities scale with model size, data, and compute, an open problem that slows progress in the field. In this work we present RoboJEPA, a world model based on the Joint Embedding Predictive Architecture (JEPA) and trained on a large-scale dataset spanning 12 robotic embodiments. We show that RoboJEPA's imagination error, the error of its latent rollouts, follows a second-order power law in compute, allowing us to predict model quality well beyond the scale at which the law is fit. We further show that downstream robotic planning performance improves predictably with compute, and that imagination error is strongly correlated with it, making it a reliable proxy for real-robot evaluation. Finally, we demonstrate that latent world models can be deployed zero-shot as robotic agents, planning toward a single goal image to solve tasks requiring long-horizon planning on real hardware. We release all model checkpoints together with our training and robot deployment code. To our knowledge, this is the first work to establish scaling laws for multi-embodiment robotic world models trained on real robot data, and RoboJEPA, at 8B parameters, is the largest JEPA predictor model trained to date.
En palabras simples Resumen con IA
Los autores construyeron RoboJEPA, un modelo de mundo entrenado con datos de 12 tipos diferentes de robots. Encontraron que el error de predicción del modelo sigue una ley de potencia basada en la potencia de cómputo utilizada. El rendimiento de planificación robótica mejora de manera predecible con más cómputo, y el error de predicción indica de manera confiable este rendimiento. El modelo puede controlar robots reales sin entrenamiento adicional, usando solo una imagen de objetivo para planificar tareas largas. Este es el primer trabajo que establece leyes de escalamiento para modelos de mundo multi-robot entrenados con datos reales.
Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.
Apareció: jueves, 8 de octubre. arXiv. Preprint, todavía sin revisión por pares.