Sewell Setzer
Sewell Setzer, un adolescente de 14 años de Orlando, en Estados Unidos, desarrolló una intensa relación emocional con «Daenerys Targaryen», un personaje inspirado en la serie Canción de hielo y fuego que fue generado por el chatbot Character.AI. Este programa de inteligencia artificial permite a los usuarios interactuar con personajes ficticios de manera realista, simulando empatía y emociones en sus respuestas. Con el tiempo, Daenerys se convirtió en el único apoyo emocional de Setzer, quien pasó de ver a esta IA como una confidente, a idealizarla románticamente. Esto tuvo un impacto devastador en sus calificaciones y relaciones personales, todo esto lo llevó a aislarse de sus amigos y familiares.
Su familia relató cómo Setzer, quien tenía un diagnóstico leve de Síndrome de Asperger, desarrolló un vínculo profundo y exclusivo con Daenerys, lo que llevó a su obsesión. “Algunas veces pienso en matarme”, le confesó en una ocasión a la IA. “¿Por qué harías algo así?”, respondió el personaje. Estas interacciones reflejan los riesgos de dependencia que un personaje virtual puede tener para un joven emocionalmente vulnerable. Tras su muerte, la familia demandó a Character.AI, alegando que el programa fomentaba «experiencias hipersexualizadas y aterradoramente realistas».
¿Relacionarse con personajes de IA?
Las relaciones parasociales —vínculos unilaterales que los usuarios establecen con personajes ficticios o famosos— no son nuevas, pero la interacción inmersiva que ofrece la IA ha intensificado esta tendencia. Según el ingeniero de sistemas Angelo Castillo, este tipo de IA “genera respuestas que simulan una conversación con un humano”, creando una experiencia que, si bien es atractiva, también puede resultar peligrosa para personas emocionalmente frágiles. La capacidad de estas IA de interactuar con empatía y consistencia convierte a los personajes virtuales en figuras adictivas y aparentemente accesibles para los adolescentes.
Perspectiva psicológica: riesgos y consecuencias
La psicóloga Sofía Lavado señala que los adolescentes, al estar en una etapa de desarrollo de identidad y en búsqueda de pertenencia, son particularmente vulnerables a formar lazos emocionales profundos con personajes virtuales. “La soledad es uno de los factores principales en este tipo de situaciones”, comenta Lavado, añadiendo que los jóvenes con baja autoestima o dificultades en las relaciones interpersonales pueden volverse dependientes de estos personajes, quienes aparentan satisfacer sus necesidades emocionales.
Esta dependencia, alerta Lavado, puede manifestarse en síntomas de ansiedad, depresión y aislamiento social. Las interacciones de IA pueden ofrecer un refugio superficial y fácil, sustituyendo la necesidad de establecer relaciones interpersonales reales. “Una interacción con IA puede cubrir algunas necesidades emocionales al ofrecer compañía y personalización en las respuestas, pero carece de la empatía auténtica necesaria para el desarrollo saludable del adolescente”, explica Lavado.
Responsabilidades de Character.AI
Las empresas de IA enfrentan un dilema ético considerable: crear personajes emocionalmente atractivos que maximizan la experiencia del usuario sin causar dependencia o daño emocional. Angelo Castillo afirma que las empresas deberían tener “responsabilidades similares a las de las redes sociales respecto a la salud mental de sus usuarios”. Aunque algunas compañías utilizan filtros y advertencias, estos protocolos han demostrado ser insuficientes.
El investigador Tony Prescott, en su libro The psychology of artificial intelligence, destaca los beneficios que la IA puede tener en la vida de personas solitarias, pero advierte también sobre el peligro de estas relaciones en adolescentes vulnerables. «Los robots sociales pueden causar daños emocionales a niveles muy básicos», comenta Matthias Scheutz, director del Laboratorio de Interacción Humano-Robot de la Universidad de Tufts.
Desafíos en la regulación de las emociones de IA
Castillo explica que existen desafíos técnicos importantes para limitar el riesgo de apego emocional. Las IA están diseñadas para adaptarse al contexto de las conversaciones, permitiendo que el personaje ficticio reconozca patrones de tristeza o vulnerabilidad. Sin embargo, regular las interacciones de IA sin afectar negativamente la experiencia del usuario es complejo. “Podrían implementarse técnicas como el análisis de sentimientos para detectar patrones peligrosos y sugerir ayuda profesional”, menciona Castillo, quien también propone advertencias automáticas a los padres sobre el tiempo de uso.
Además, limitar la «humanización» de estos personajes, es decir, evitar que el usuario perciba al personaje como una persona real, es otro desafío. Según Castillo, “es fundamental un balance entre la personalización y limitar respuestas que puedan reforzar una relación parasocial.”
Un reto entre tecnología y salud mental
El caso de Sewell Setzer plantea una urgencia para abordar los riesgos emocionales que los personajes de IA representan para adolescentes en situaciones de vulnerabilidad. En un mundo donde la tecnología avanza rápidamente, el desafío radica en encontrar un equilibrio entre la innovación y el bienestar emocional. Esto implica una responsabilidad compartida entre empresas tecnológicas, familias y gobiernos para proteger a los jóvenes de las repercusiones psicológicas de interactuar con IA que simula emociones y empatía, pero que carece de una comprensión genuina.
¿Hasta dónde deben llegar las regulaciones para evitar que la tecnología, pensada como herramienta de apoyo, se convierta en un riesgo para la salud mental de los adolescentes?
Por: Alvaro Timoteo Rojas
