ProMemAgent: Long-Horizon Proactive Assistance with Context-Aware Prospective Memory from Sensory Perceptions
En palabras de los autores
Large language model (LLM) agents are moving beyond reactive responses toward proactive assistance that anticipates user needs without explicit requests. However, existing proactive agents primarily address immediate needs, while many everyday situations involve delayed intentions that can only be acted on hours or days later. Humans handle such intentions through prospective memory, the ability to remember to act on an intention when the right moment arises. In this paper, we introduce ProMemAgent, the first proactive agent to incorporate prospective memory over everyday sensory contexts for long-horizon proactive assistance. ProMemAgent organizes past sensory perceptions (e.g., egocentric video and audio) into context-aware memory, generating prospective cues and linking earlier events with subsequent developments for future retrieval. Given the current context, it retrieves relevant past events and performs memory-augmented proactive reasoning to determine whether assistance is needed. We further introduce CPMBench, the first benchmark for evaluating long-horizon proactive assistance over sensory contexts, comprising 1,000 instances across eight everyday categories. Extensive experiments show that ProMemAgent achieves the best memory retrieval performance and consistently outperforms all baselines on long-horizon proactive assistance.
En palabras simples Resumen con IA
Los agentes de IA actuales reaccionan ante los usuarios o atienden necesidades inmediatas, pero la vida cotidiana a menudo requiere actuar sobre intenciones horas o días después. Los humanos usan la memoria prospectiva: recordar actuar cuando llega el momento adecuado. ProMemAgent es el primer agente proactivo que usa la memoria prospectiva con datos sensoriales cotidianos para ayuda a largo plazo. Organiza video y audio pasados en memoria, crea señales y vincula eventos para uso posterior. Pruebas en 1,000 situaciones cotidianas muestran que recupera memorias mejor y supera a otros métodos.
Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.
Apareció: miércoles, 21 de octubre. arXiv. Preprint, todavía sin revisión por pares.