pipette
ENEnglish

Secure Speculative Decoding for Large Language Models

Yichi Zhang, Zhiqi Wang, Neil Gong, Yuchen Yang

PreprintDice ser un gran avanceUso en el mundo real

En palabras de los autores

Speculative decoding accelerates inference for a large language model (LLM), referred to as the target model, by first using a smaller model, referred to as the draft model, to generate candidate tokens and then verifying them with the target model for acceptance or rejection. Prior studies primarily focused on the efficiency-utility trade-off of speculative decoding, e.g., lossy speculative decoding, leaving its security implications largely unexplored. In this work, we bridge this gap by providing the first systematic study of the security implications of speculative decoding. Through a large-scale measurement study, we reveal a pronounced security-utility asymmetry: across a wide range of lossy speculative decoding methods, improvements in inference efficiency come at a disproportionately high cost to security, with attack success rates for jailbreak and prompt injection attacks increasing much faster than utility degrades. We then propose SecureSD, a new theory-guided speculative decoding method that enhances security while maintaining efficiency and utility. Specifically, our theoretical analysis reveals that security degradation primarily originates from the early tokens generated by the draft model. Motivated by this insight, SecureSD applies a stricter verification criterion to draft-model tokens at early decoding positions. Extensive experiments on both security and utility benchmarks demonstrate that SecureSD significantly improves security while preserving efficiency and utility compared to existing speculative decoding methods.

Resultado principalEl resumen no menciona limitaciones.

En palabras simples Resumen con IA

La decodificación especulativa acelera los modelos de lenguaje grandes al usar un modelo borrador más pequeño para crear tokens candidatos que el modelo principal luego verifica. Los autores encontraron que los métodos de decodificación más rápidos aumentan abruptamente los riesgos de seguridad de ataques de jailbreak e inyección de prompts en comparación con pequeñas caídas en la utilidad. Crearon SecureSD, que aplica verificaciones más estrictas a los tokens tempranos del modelo borrador basándose en su teoría. Las pruebas mostraron que SecureSD mejora la seguridad mientras mantiene la velocidad y la utilidad en comparación con otros métodos de decodificación especulativa.

Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.

Apareció: miércoles, 7 de octubre. arXiv. Preprint, todavía sin revisión por pares.

Comentario de los autores: 18 pages, accepted by IEEE S&P 2027