pipette
ENEnglish

Perceive, Solve, Reason: Progressive Capability Formation in Time Series-LLMs

Xin Qiu, Junlong Tong, Wei Zhang, Xiaoyu Shen

PreprintDice ser un gran avance

En palabras de los autores

Large language models (LLMs) can now perceive, describe, and reason about images and audio, yet time series understanding remains underestimated: most work uses LLMs as forecasters and classifiers, reasoning studies are few and narrow, and no suite trains and evaluates the full range of capabilities. In this paper, we build the first such suite, with 337K training and 44K evaluation samples across three progressive capabilities, Perceive, Solve, and Reason, and use it to ask how time series should enter an LLM that must master all three, and in what order. We find that a dedicated encoder is essential: with one, a 4B model surpasses GPT-4o on every perception attribute we test, whereas textualizing the series costs 8--10 points in reasoning accuracy. The capabilities then build on one another: learning them in order beats mixing the same data and rivals reasoning-only training with over three times the reasoning data, but only when an encoder is used. Analyses further reveal that capabilities are transferred through distinct network depths rather than simply stacked, and that a stage converged on its own benchmark is not necessarily ready for the next. Distilled into a simple recipe, these findings yield 4B TS-LLMs that, without any target-domain data, outperform four recent 7B TS-LLMs on seven of eight out-of-domain metrics, by up to 11 points. We therefore advocate treating time series as a first-class modality for LLMs, read through dedicated encoders and taught to perceive before they reason.

Resultado principalEl resumen no menciona limitaciones.

En palabras simples Resumen con IA

Los autores construyeron la primera suite de entrenamiento y prueba para tres habilidades de series temporales: percepción, resolución y razonamiento. Encontraron que un codificador dedicado es esencial: con uno, su modelo de 4 mil millones de parámetros supera a GPT-4o en cada prueba de percepción. Convertir las series temporales a texto en su lugar cuesta de 8 a 10 puntos en precisión de razonamiento. Aprender las tres habilidades en orden funciona mejor que mezclar los datos, y equivale a entrenar con más del triple de datos de razonamiento. Sus modelos de 4 mil millones de parámetros superan a cuatro modelos recientes de 7 mil millones de parámetros en siete de ocho pruebas fuera del dominio, por hasta 11 puntos, sin usar ningún dato del dominio objetivo.

Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.

Apareció: lunes, 19 de octubre. arXiv. Preprint, todavía sin revisión por pares.