pipette
ENEnglish

Turing-like tests for language and vision demonstrate a narrowing gap between humans and AI

Mengmi Zhang, Elisa Pavarino, Xiao Liu, Giorgia Dellaferrera, Ankur Sikarwar, Caishun Chen, Marcelo Armendáriz, Noga Mudrik, Prachi Agrawal, Spandan Madan, Mranmay Shetty, Andrei Barbu, Haochen Yang, Tanishq Kumar, Shui’er Han, Aman Singh, Meghna Sadwani, Stella Dellaferrera, Michele Pizzochero, Brandon Tang, Yew-Soon Ong, Hanspeter Pfister, Gabriel Kreiman

Revista con revisión por paresInterés amplioFácil de leer

En palabras de los autores

As artificial intelligence (AI) becomes increasingly embedded in daily life, ascertaining whether an agent is human is critical. Here we systematically benchmark AI’s ability to imitate humans in three language tasks (image captioning, word association and conversation) and three vision tasks (colour estimation, object detection and attention prediction), collecting data from n = 636 humans and 37 AI agents. We also conducted 72,191 Turing-like tests with 1,916 human judges and 10 AI judges. Current AIs are approaching the ability to convincingly impersonate humans and deceive human judges in both language and vision. Even simple AI judges outperformed humans in distinguishing AI from human responses. Imitation ability showed minimal correlation with conventional AI performance metrics, suggesting that passing as human is an important independent evaluation criterion. The large-scale Turing-like datasets and metrics introduced here offer valuable benchmarks for assessing human-likeness in AI and highlight the importance of rigorous, quantitative imitation tests for AI development. Zhang et al. systematically compare humans and AI across three language and three vision tasks.

Resultado principalEl resumen no menciona limitaciones.

En palabras simples Resumen con IA

Los autores probaron 37 agentes de IA y 636 humanos en seis tareas: tres de lenguaje y tres de visión. Los sistemas de IA actuales se están acercando a fingir convincentemente ser humanos tanto en tareas de lenguaje como de visión. Jueces de IA simples superaron a los humanos en identificar qué respuestas provenían de IA. Los autores sugieren que pasar por humano es una forma separada e importante de evaluar la IA.

Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale. Se eliminó 1 oración por no estar respaldada por el abstract.

Apareció: miércoles, 28 de octubre. Nature Human Behaviour. Revista con revisión por pares.

DOI: 10.1038/s41562-026-02590-6