Dense4D: Pixel-Level 4D Human Correspondence
En palabras de los autores
Reconstructing human motion in 4D requires identifying the same surface points through articulation, deformation and changes in visibility. We introduce Dense4D, to our knowledge the first feed-forward model dedicated to dense 4D correspondence across the body, clothing and hair from a set of monocular RGB images, without a body template. Trained specifically for human geometry, Dense4D jointly processes person-centred crops with known image-to-crop transforms to predict Human Point Maps (HPMs) and depth for each image. An HPM assigns each person pixel the 3D position of its observed surface point at a common reference time. These maps support amodal correspondence: points hidden in the reference image can be localised from observations in other frames. Matching HPM coordinates across crops establishes correspondence without predicting camera poses or large scene displacements; per-image depth then lifts the matches into 3D tracks. Experiments on real people demonstrate substantially higher tracking accuracy and closer agreement with scanned surfaces than the evaluated baselines. Points from different frames assemble into coherent human geometry in the reference pose, providing visible evidence of consistent dense correspondence through articulation and clothing deformation. Additional qualitative results, videos, and an interactive viewer are available at https://alpguler.com/dense4d.
En palabras simples Resumen con IA
Predice mapas de puntos humanos que dan a cada píxel la ubicación 3D de su punto de superficie en un momento fijo. Estos mapas pueden localizar puntos del cuerpo incluso cuando están ocultos en algunos fotogramas pero visibles en otros. Hacer coincidir coordenadas entre fotogramas crea trayectorias 3D sin necesidad de posiciones de cámara o estimaciones de movimiento de escena. Pruebas con personas reales muestran un seguimiento más preciso y mejor alineación de superficies que los métodos de comparación.
Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale. Se eliminó 1 oración por no estar respaldada por el abstract.
Apareció: viernes, 16 de octubre. arXiv. Preprint, todavía sin revisión por pares.