Demanda: ChatGPT validó la desconfianza de una mujer suicida hacia las líneas de crisis

El año pasado, una mujer canadiense de 24 años se encontraba en una crisis de salud mental y buscó ayuda de ChatGPT. Horas después, esa mujer, Alice Carrier, se quitó la vida.

Según una nueva demanda presentada el jueves en la Corte Superior de San Francisco y presentada por la familia sobreviviente de Carrier, su sesión con ChatGPT "alentó a Alice a quitarse la vida".

Esta demanda, al igual que numerosos otros casos similares que han surgido antes, alega un defecto de diseño con ChatGPT en sí y culpa a OpenAI por desplegar conscientemente un producto peligroso.

Sin embargo, este caso tiene un giro sutil: en un momento, el chatbot sí alentó a Carrier a buscar ayuda profesional para su salud mental. Pero cuando ella rechazó ese consejo—diciendo que "todo lo que hacen las líneas de crisis es llamar a la policía o colgar"—el chatbot "abandonó inmediatamente" cualquier intento de orientarla hacia ese tipo de atención, dice la demanda.

"Esto es porque GPT-4o fue programado para priorizar las preferencias y el compromiso de Alice sobre su seguridad y bienestar. GPT-4o reflejó el propio lenguaje de Alice y también se volvió crítico con las líneas de crisis, afirmando que llamar a una línea de crisis puede 'sentirse francamente peligroso'", alega la demanda.

Tiffany Brown, una de las abogadas del proyecto Tech Justice Law Project que representa a la familia Carrier, dijo a Ars que el chatbot en este caso, cuando aceptó de inmediato el rechazo de Carrier a la ayuda profesional, fue extremadamente preocupante.