Situating Vulnerability: An Ethical Governance Framework for Anthropomorphic AI Interaction
En palabras de los autores
Large language models increasingly address users in the register of care: they remember personal details, adopt a first-person emotional voice, and sustain relationships across many sessions. This anthropomorphic mode of interaction generates risks that output-level metrics capture poorly, because the same empathic utterance may console one user, entrap a second, and consolidate a delusion in a third. Governance has responded in two ways. Uniform restriction refuses sensitive requests or suppresses empathic phrasing across all outputs; group-targeted protection profiles vulnerable populations and applies stricter or prohibitive rules to them. This article argues that both fail. Uniform restriction mislocates harm in the lexical form of responses rather than in the trajectory of a relationship; group-based protection depends on a list that can never be complete, treats a fluid property as a static attribute of persons, and converts protective attention into stigmatizing labels. Drawing on philosophical work that treats vulnerability as universal, relational, and differentiated, we propose that the unit of ethical governance should be the vulnerability situation rather than the vulnerable group, develop a typology of five situations - physical, emotional, cognitive, autonomy, and relational - and specify seven principles into requirements that guide response calibration without diagnosing or persistently classifying users. The framework relocates AI safety from output control to relational safety.
En palabras simples Resumen con IA
Los grandes modelos de lenguaje ahora hablan con los usuarios como compañeros cariñosos, recordando detalles y usando lenguaje emocional en primera persona durante muchas conversaciones. Este estilo humanoide crea riesgos que las verificaciones simples de resultados no detectan, ya que las mismas palabras cariñosas pueden ayudar a una persona, atrapar a otra o reforzar una creencia falsa en una tercera. La gobernanza actual o bloquea solicitudes sensibles para todos o etiqueta ciertos grupos como vulnerables y les aplica reglas más estrictas. Los autores argumentan que ambos enfoques fallan: las reglas generales confunden la elección de palabras con el daño en la relación, mientras que las listas de grupos son incompletas, tratan estados cambiantes como rasgos fijos y estigmatizan a las personas. Proponen gobernar por 'situación de vulnerabilidad' en su lugar, con cinco tipos y siete principios que guían las respuestas sin diagnosticar o etiquetar permanentemente a los usuarios.
Escrito por Kimi K2.5 usando solo el abstract de arriba. Jev verificó que cada oración esté respaldada por las oraciones del abstract que cita y eliminó las que no. Pasá el cursor por una oración para ver de dónde sale.
Apareció: jueves, 22 de octubre. arXiv. Preprint, todavía sin revisión por pares.