DRAFT: Decoding and Reconstructing 3D Room Layouts from fMRI and Camera Trajectories
En palabras de los autores
While functional magnetic resonance imaging (fMRI) decoders reconstruct images and 3D objects, recovering the metric geometry of rooms from a moving viewpoint remains an open challenge. We introduce, to our knowledge for the first time, the task of reconstructing 3D layouts of held-out scenes using only the known camera trajectories and the fMRI signals of participants watching indoor walkthroughs, without any visual frames. The task is hard because of the temporal mismatch between rapid visual changes and blurred fMRI signals. Our method, DRAFT (Decoding and Reconstructing 3D room lAyouts from fMRI and Trajectories), extracts a compact layout representation from the early visual cortex and fuses this neural code with the geometric free space derived from camera motion. To evaluate it, we propose layout r, the Pearson correlation between predicted and ray-cast log depths. On ten held-out scenes (20 participants), DRAFT reaches a layout r of 0.480, outperforming the camera path alone (0.446) and seven fMRI decoders (at most 0.429). DRAFT also works as a plug-in that improves all seven decoders without retraining, raising their layout r from 0.171-0.429 to 0.487-0.493. Brain activity and camera motion can thus recover the metric layout of unseen rooms, a first step toward reconstructing the 3D spaces people see.
En palabras simples Resumen con IA
Los autores crearon una nueva tarea: reconstruir diseños de habitaciones en 3D usando solo escáneres cerebrales y trayectorias de cámara, sin video real. Su método, llamado DRAFT, extrae una forma compacta de la habitación de la corteza visual temprana y la mezcla con datos de espacio libre del movimiento de la cámara. En diez escenas nuevas con 20 personas, DRAFT obtuvo 0.480, superando solo la trayectoria de cámara (0.446) y siete otros decodificadores cerebrales (máximo 0.429). DRAFT también mejoró los siete decodificadores sin reentrenamiento, elevando sus puntajes de 0.171-0.429 hasta 0.487-0.493. La actividad cerebral más el movimiento de la cámara pueden así recuperar la forma medida de habitaciones no vistas.
Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.
Apareció: viernes, 23 de octubre. arXiv. Preprint, todavía sin revisión por pares.
Comentario de los autores: 42 pages, 7 figures, 18 tables