Double descent without digital computation
En palabras de los autores
The success of large-scale AI relies on the phenomenon of double descent, where overfitting first increases and then counterintuitively decreases as the network grows relative to the amount of training data and becomes overparameterized. In this overparameterized regime it is easy to find good solutions that do not overfit. However, double descent has not previously been observed in physical neural networks, which are attracting increasing attention but remain small-scale. Here we demonstrate double descent in a decentralized analog network of self-adjusting resistive elements. This system trains itself and performs tasks without a digital processor, offering potential gains in energy efficiency and speed-but must inevitably confront component nonidealities. We find that standard training protocols fail to yield double descent, but a modified protocol that accommodates generic imperfections succeeds, qualitatively matching digital neural network simulations. Our findings show that analog physical neural networks, if appropriately trained, can reproduce important facets of overparameterized digital learning. This result is critical if such networks are to be scaled up to useful sizes.
En palabras simples Resumen con IA
El doble descenso es un patrón donde el sobreajuste primero aumenta y luego disminuye a medida que las redes de IA crecen más que sus datos de entrenamiento. Los autores construyeron una red física de resistores autoajustables que aprende sin ningún procesador digital. El entrenamiento estándar no logró mostrar el doble descenso, pero un protocolo modificado que maneja imperfecciones tuvo éxito. Las redes analógicas adecuadamente entrenadas pueden replicar características clave de los grandes sistemas de IA digitales. Esto importa para escalar las redes neuronales físicas a tamaños prácticos.
Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.
Apareció: sábado, 26 de septiembre. Proceedings of the National Academy of Sciences. Revista con revisión por pares.