pipette
ENEnglish

Emergence of diffusion models from associative memory through memorization and generalization

Bao Pham, Gabriel Raya, Matteo Negri, Mohammed Javeed Zaki, Luca Ambrogioni, Dmitry Krotov

Revista con revisión por pares

En palabras de los autores

Abstract Dense Associative Memories (DenseAMs) are generalizations of Hopfield networks that store training data at local minima of the energy landscape. When the amount of training data exceeds the critical memory storage capacity, new local minima (different from the training data) emerge. These emergent local minima, known as spurious states, can hinder memory retrieval. We examine diffusion models (DMs) through the DenseAM lens, viewing their generative process as an attempt of a memory retrieval. In the small data regime, DMs create distinct attractors for each training sample, akin to DenseAMs below the critical capacity. As the training set size increases, DMs transition to generalization. We identify a critical intermediate phase, predicted by DenseAM theory, characterized by the emergence of spurious states. In generative modeling, these previously overlooked states are no longer negative artifacts but rather are the first signs of generative capabilities. Their existence is demonstrated across a wide range of architectures and datasets.

Resultado principalEl resumen no menciona limitaciones.

En palabras simples Resumen con IA

Las memorias asociativas densas almacenan los datos de entrenamiento como valles del paisaje de energía. Cuando los datos de entrenamiento exceden la capacidad, aparecen nuevos valles que difieren de los datos de entrenamiento. Estos valles adicionales, llamados estados espurios, pueden bloquear la recuperación de la memoria. Los autores estudian los modelos de difusión como intentos de recuperación de la memoria. Con pocos datos, los modelos de difusión crean atractores separados para cada muestra de entrenamiento. A medida que crecen los datos, los modelos de difusión pasan a la generalización. Surge una fase intermedia donde aparecen estados espurios, como predice la teoría. En el modelado generativo, estos estados no son defectos sino primeras señales de capacidad de generación. Los autores muestran que estos estados existen en muchas arquitecturas y conjuntos de datos.

Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.

Apareció: martes, 27 de octubre. Nature Communications. Revista con revisión por pares.

DOI: 10.1038/s41467-026-78727-y