SonoWorld: Towards Interactive Pose-Controllable Ultrasound World Models
En palabras de los autores
Robotic ultrasound can standardize image acquisition and reduce operator workload and variability, but policy learning remains limited by the lack of realistic, controllable simulation environments. While controllable world models have advanced rapidly in natural-image domains, ultrasound world modeling remains challenging because each frame captures only a cross-section of unobserved 3D anatomy, causing small probe motions to induce large appearance changes. Existing approaches rely on robot-tracked poses and latent-space prediction, but do not directly generate the observations required for interactive control. We propose SonoWorld, a causal ultrasound world model that learns video dynamics from unlabeled clinical videos and grounds them to 6-DoF control using a small set of freehand clinical scans tracked with an EM sensor. SonoWorld is trained in three stages: pretraining a latent-action-conditioned video diffusion model on around 6.9 million unlabeled multi-organ ultrasound frames; grounding the learned video dynamics to metric probe poses with a small EM-tracked thyroid dataset; and applying distribution matching distillation to enable causal, long-horizon autoregressive generation with selectively caching eviction tokens at inference time. We evaluate controllability through pose-following fidelity, round-trip consistency, and axis-specific control under synthetic actions on held-out tracked scans, and further validate it with a user study. In model-based action discrimination, SonoWorld correctly ranks the target-directed probe motion over an equal-magnitude opposite motion in up to 74.8% of trials. To our knowledge, SonoWorld is the first causal, pose-controllable ultrasound world model learned primarily from freehand clinical videos, providing a data-driven interactive environment for robotic ultrasound data acquisition and policy evaluation.
En palabras simples Resumen con IA
La ecografía robótica podría estandarizar la obtención de imágenes y reducir la carga de trabajo, pero entrenar políticas es difícil sin simulaciones realistas. Los autores construyeron SonoWorld, un modelo que aprende patrones de video de ecografía de videos clínicos sin etiquetar y los vincula al control de posición de la sonda. El entrenamiento utilizó aproximadamente 6.9 millones de fotogramas sin etiquetar y un pequeño conjunto de exploraciones manuales rastreadas. En pruebas, el modelo identificó correctamente el movimiento de la sonda dirigido al objetivo sobre el movimiento opuesto en hasta 74.8% de los ensayos. Los autores afirman que este es el primer modelo causal de mundo de ecografía controlable por pose aprendido principalmente de videos clínicos manuales.
Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.
Apareció: jueves, 15 de octubre. arXiv. Preprint, todavía sin revisión por pares.