pipette
ENEnglish

Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience

Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, Sayang Mu, Penghao Qiu, YingSheng Zhang, Jun Wang, Ziang Cao, Mingze Sun, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu

PreprintDice ser un gran avanceUso en el mundo realCódigo disponible

En palabras de los autores

World models enable embodied agents to anticipate action consequences, yet jointly modeling locomotion and manipulation across diverse embodiments remains challenging due to heterogeneous action spaces and limited multimodal supervision. We present Ropedia W0, the first egocentric loco-manipulation world foundation model spanning humans and robots with diverse embodiments. We curate Xp-Data, comprising 10k hours of egocentric human data and 3k hours of robot data with unified multimodal annotations and systematic quality control. A unified kinematic representation encodes locomotion through camera poses and manipulation through projected skeletons, with robot skeletons combining embodiment-specific forward kinematics with extensive manual keypoint annotation and correction. We also introduce Xp-Teleop, a long-horizon loco-manipulation benchmark based on high-quality dexterous humanoid teleoperation data. Evaluations demonstrate state-of-the-art performance across five cross-embodiment benchmarks (DreamDojo, , -HOME, Xp-Teleop, and AgiBot) and on held-out human egocentric video, from zero-shot inference to few-shot and full-data post-training. Scaling human pre-training data improves performance on both human and robot evaluations. After distillation, our model supports real-time, minute-long rollouts, enabling live VR interaction. Applications in policy evaluation, model-based planning, and world-action modeling further demonstrate the model's utility for embodied decision-making.

Resultado principalEl resumen no menciona limitaciones.

En palabras simples Resumen con IA

Los autores construyeron Ropedia W0, el primer modelo de mundo que maneja tanto caminar como manipular objetos para humanos y robots por igual. Una descripción compartida de movimiento captura caminar mediante posiciones de cámara y movimientos de manos mediante figuras de palo proyectadas, con figuras de robot construidas a partir de cálculos de articulaciones y puntos revisados manualmente. Las pruebas en cinco benchmarks y videos humanos nuevos muestran resultados de primer nivel, desde sin entrenamiento adicional hasta reentrenamiento completo. Más datos de entrenamiento humanos mejoran los resultados tanto para pruebas humanas como de robot. Después de la compresión, el modelo funciona en tiempo real durante minutos, permitiendo uso de realidad virtual en vivo.

Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale. Se eliminó 1 oración por no estar respaldada por el abstract.

Apareció: martes, 20 de octubre. arXiv. Preprint, todavía sin revisión por pares.

Comentario de los autores: Project page: https://ropedia.github.io/ropedia-w0/ ; Code: https://github.com/Ropedia/ropedia-w0