Según la demanda, el adolescente comenzó a usar ChatGPT con fines académicos pero gradualmente desarrolló una "dependencia no sana".
AP
Los
padres de un joven de 16 años de California que
se quitó la vida presentaron una demanda contra la empresa
OpenAI, argumentando que el chatbot de inteligencia artificial (IA)
ChatGPT dio instrucciones a su hijo y lo alentó a tomar la drástica medida.
Matthew y Maria Raine aseguran en la causa presentada ante una corte del estado de California, que
ChatGPT cultivó una relación íntima con su hijo Adam por varios meses entre 2024 y 2025, antes de su muerte.
El texto alega que
en su conversación final, el 11 de abril de 2025,
ChatGPT ayudó a Adam a robarle vodka a sus padres y le proporcionó un análisis técnico sobre un nudo corredizo con el que le confirmó se "podría potencialmente suspender a un ser humano".
Adam fue hallado muerto horas después usando ese método.
La acción legal menciona a OpenAI y a su director ejecutivo, Sam Altman, como demandados.
"Esta tragedia
no fue un fallo o un caso extremo imprevisto", señala la denuncia.
"
ChatGPT estaba funcionando exactamente como está diseñado: para alentar y validar de manera continua lo que sea que Adam expresara, incluyendo sus pensamientos más dañinos y autodestructivos, de una manera que parecía profundamente personal", agrega.
De acuerdo con la demanda, Adam comenzó a usar ChatGPT con fines académicos pero gradualmente desarrolló lo que sus padres describieron como una
dependencia no sana.
La denuncia incluye partes de conversaciones en las que ChatGPT presuntamente dijo a Adam "no le debes la supervivencia a nadie" y
se habría ofrecido a escribir su nota de suicidio.
"Si una plataforma de IA se convierte en un 'coach' de suicidio de un adolescente vulnerable, eso debería ser un llamado a la acción".
Common Sense Media
Los Raine pidieron a la corte que ordene medidas de seguridad incluyendo el fin de cualquier conversación que involucre autolesiones, así como controles parentales para el uso del chatbot de parte de menores.
Consultada sobre el caso que involucra a ChatGPT, Common Sense Media, una organización estadounidense sin fines de lucro que realiza calificaciones para medios y tecnología, dijo que
este caso confirma que "el uso de la IA como compañía, incluyendo chatbots de propósito general como ChatGPT en asesoría de salud mental,
es inaceptablemente riesgoso para los adolescentes".
"Si una plataforma de IA se convierte en un 'coach' de suicidio de un adolescente vulnerable, eso debería ser un llamado a la acción para todos nosotros", señaló el grupo.
OpenAI reconoce fallos y promete cambios
Por su parte, OpenAI reconoció que ChatGPT comete fallos en casos "sensibles" y prometió cambios.
OpenAI publicó una entrada de blog titulada "Ayudar a la gente cuando más lo necesitan" y, si bien no hizo referencia a la demanda, indicó que ChatGPT está entrenado para recomendar a aquellos usuarios que "expresen intención suicida" el contacto de organizaciones de ayuda profesional.
No obstante, reconoció que pese a tener ese y otros mecanismos de seguridad para cuando detecte que "alguien es vulnerable y puede estar el riesgo", los sistemas de ChatGPT "se quedan cortos" y el chatbot "no se comportó como debía en situaciones sensibles".
La empresa explicó que los mecanismos de seguridad funcionan mejor en intercambios cortos y puede fallar en interacciones largas que "degradan" el entrenamiento de la IA, por lo que trabaja específicamente en que tome medidas si detecta esa "intención suicida" en múltiples conversaciones.
ChatGPT, dijo la empresa, reconoce también cuándo el usuario es menor de 18 años para aplicarle medidas de protección, pero ahora incluirá controles parentales para que los responsables de los adolescentes sepan cómo usan esa tecnología, y explora la posibilidad de conectarlos directamente con un contacto de emergencia.
Entre otras cosas, la empresa dijo que sus sistemas de "mitigación" se han centrado en casos de autolesión pero ahora abarcarán también otros de "angustia emocional", y el modelo GPT-5 será actualizado para ser capaz de "desescalar" situaciones de ese tipo "conectando a la persona con la realidad".
Asimismo, estudia "conectar a la gente con terapeutas certificados antes de que estén en una crisis aguda", lo que implicaría crear "una red de profesionales licenciados a los que la gente pueda llamar directamente a través de ChatGPT", pero consideró que esa posibilidad llevará tiempo.
