Detecting Inconsistencies in Model Specifications with LLM-as-Verifier Reasoning
En palabras de los autores
Model specifications define how large language models (LLMs) should behave, guiding alignment training, inference-time behavior, and evaluation. Yet these specifications may themselves contain defects: two individually reasonable principles may prescribe incompatible behavior when applied to the same situation, leaving no response that satisfies both. Detecting such inconsistencies is challenging. Formalizing natural-language specifications risks losing subtle distinctions, while behavior-based testing cannot reliably distinguish specification defects from differences in model behavior. We introduce VeriSpec, the first approach to directly detect inconsistencies in model specifications by auditing the specification text itself. Our key insight is to preserve the specification in natural language while using an LLM as a verifier. VeriSpec extracts structured, context-aware rules, constructs a topic-guided graph to cluster behaviorally related rules at the same authority level, and applies LLM-as-verifier reasoning to detect inconsistencies. Applying VeriSpec to the OpenAI Model Spec, we extract 405 rules and manually validate five inconsistencies, all reported to its developers, who responded positively and have initiated internal discussions. Compared with five baselines, VeriSpec identifies the most validated inconsistencies, achieves the highest precision (38.5%), and incurs the lowest cost per validated inconsistency ($11.12). These results establish direct specification auditing as a practical complement to behavioral alignment evaluation, catching defects at the source before they shape any model. The code is available at https://github.com/HIPREL-Group/VeriSpec.
En palabras simples Resumen con IA
Las especificaciones de modelos guían cómo deben comportarse los grandes modelos de lenguaje, pero dos principios pueden entrar en conflicto en la misma situación. Los autores crearon VeriSpec, que utiliza un LLM como verificador para encontrar inconsistencias directamente en el texto de especificaciones en lenguaje natural. Aplicado a la Especificación de Modelo de OpenAI, VeriSpec extrajo 405 reglas y encontró cinco inconsistencias validadas, que fueron reportadas a los desarrolladores. VeriSpec logró 38.5% de precisión y costó $11.12 por inconsistencia validada, superando a cinco métodos de referencia. Los autores sugieren que la auditoría directa de especificaciones puede detectar defectos antes de que moldeen cualquier comportamiento del modelo.
Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.
Apareció: viernes, 2 de octubre. arXiv. Preprint, todavía sin revisión por pares.