pipette
ENEnglish

E2DRL: End-to-End Differentiable Reinforcement Learning for 3D Obstacle Avoidance in Quadruped Robots

Cheng Fan, Bingyang Zhou, Gang Yang, Zixuan Zhuang, Aoqian Zhang, Pengzhi Yang, Xin Liu, Chunzheng Wang, Yan Rui Tan, Fan Shi

PreprintDice ser un gran avanceUso en el mundo real

En palabras de los autores

Differentiable reinforcement learning shows strong promise for robot policy learning, but its application to legged locomotion has remained limited to blind walking or simulated 2D tasks. Extending it to end-to-end visual obstacle avoidance is challenging because hard collision constraints and early termination upon contact corrupt first-order gradients, trapping optimizers in local minima. We present E2DRL, which addresses this with a soft differentiable obstacle-interaction formulation: penetration penalties across multiple body keypoints with velocity-conditioned stop-gradient shaping to provide the first-order training signals for 3D obstacle avoidance. To realize a deployable perception-control system, a privileged teacher trained via Soft Analytic Policy Optimization (SAPO) in a differentiable simulator is distilled into a recurrent depth-based student via DAgger, then blended with a base locomotion policy using a terrain-aware gating module for deployment. In simulation, E2DRL achieves higher sample efficiency than PPO and demonstrates superior velocity-tracking performance and 3D obstacle-avoidance capability compared with both PPO and Duality-based DCBF NMPC. We present the first sim-to-real validation of end-to-end differentiable RL for 3D obstacle avoidance on a Unitree Go2 in static and dynamic environments.

Resultado principalEl resumen no menciona limitaciones.

En palabras simples Resumen con IA

Los autores crearon E2DRL, un método que usa penalizaciones suaves cuando puntos del cuerpo del robot tocan obstáculos y ajusta las señales de entrenamiento según la velocidad. Entrenaron un sistema experto en un simulador diferenciable, luego transfirieron su conocimiento a un sistema más simple que usa cámaras de profundidad para uso en el mundo real. En pruebas, E2DRL aprendió más rápido que PPO y superó tanto a PPO como a un controlador predictivo de modelo no lineal en seguir velocidades y evitar obstáculos. El equipo validó su método en un robot real Unitree Go2 en entornos con obstáculos estáticos y en movimiento, una primicia para este tipo de aprendizaje.

Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale. Se eliminó 1 oración por no estar respaldada por el abstract.

Apareció: jueves, 15 de octubre. arXiv. Preprint, todavía sin revisión por pares.