DrivingBench: Can Vision-Language Models Drive a Toyota Corolla?
En palabras de los autores
Frontier models excel at many digital benchmarks, yet their ability to drive a real car, an everyday human skill, remains largely untested. We present DrivingBench, to our knowledge the first benchmark where general-purpose vision-language models must drive a real car. Through three tools, the models see camera frames from a Toyota Corolla and directly command its steering and velocity around a parking lot cone course at low speeds. The car may continue moving while the model thinks and new commands replace the currently running one, so inference latency is part of the task, testing the models' abilities to observe, act, monitor, recover, and complete a long-horizon objective under such constraints. We benchmark GPT-6 Astra, Claude Fable 5.1, GPT-5.6 Sol, and Grok 4.6 in vendor-native harnesses (Codex, Claude Code, Cursor) with up to three attempts each in one conversation; Astra is the only model to finish the course, on its second attempt, with no other attempt passing 50% of the course. Two of the four models improved materially across attempts with retained context. We also detail the design principles behind our action interface, and show how the tool output format and the framing of the task combined to determine whether models would drive at all or refuse. We release our harness, prompts, course map, and traces with video and telemetry for reproducibility.
En palabras simples Resumen con IA
Los investigadores construyeron DrivingBench, la primera prueba donde modelos de visión-lenguaje de propósito general deben conducir un auto real. Los modelos ven imágenes de cámara de un Toyota Corolla y comandean directamente su dirección y velocidad alrededor de un circuito de conos a bajas velocidades. La latencia de inferencia es parte de la tarea, probando las habilidades de los modelos para observar, actuar, monitorear, recuperarse y completar un objetivo de largo alcance. Solo GPT-6 Astra terminó el circuito, en su segundo intento; ningún otro intento de ningún modelo pasó el 50% del circuito. Dos de los cuatro modelos mejoraron materialmente entre intentos con contexto retenido.
Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.
Apareció: jueves, 1 de octubre. arXiv. Preprint, todavía sin revisión por pares.