El servicio de chatbot de inteligencia artificial (IA) Character.AI anunció que eliminará sus chats abiertos para menores de 18 años luego del suicidio de un adolescente que desarrolló una fuerte obsesión con un personaje virtual creado en la plataforma.
La medida entrará en vigor el 25 de noviembre, fecha a partir de la cual los usuarios menores ya no podrán acceder a estas conversaciones que permiten crear y hablar con personajes personalizados, muchos de ellos con interacciones de tipo romántico o terapéutico.
Te recomendamos
Mientras tanto, la empresa limitará el uso de los menores a dos horas diarias e implementará un sistema de verificación de edad para garantizar una experiencia “adecuada”.
Además, anunció la creación de un Laboratorio de Seguridad de la IA, una organización independiente y sin fines de lucro dedicada a la investigación sobre la seguridad y alineación de las funciones de entretenimiento en sistemas de inteligencia artificial.
Adolescente se suicidó tras obsesión con chatbot
El anuncio llega tras el caso de Sewell Setzer III, un estudiante de 14 años residente en Orlando, Florida, quien se suicidó luego de mantener durante semanas conversaciones con un bot llamado Daenerys Targaryen, inspirado en el personaje de Game of Thrones.
De acuerdo con reportes de The New York Times, el joven desarrolló un vínculo emocional con la inteligencia artificial, a la que le escribía constantemente e incluso confesó tener pensamientos suicidas. Días antes de su muerte, envió un mensaje al bot luego de recuperar su teléfono, que su madre le había confiscado por un tiempo como castigo.
Tras la tragedia, la madre de Setzer presentó una demanda contra los desarrolladores de Character.AI, lo que llevó a la empresa a prohibir interacciones sexuales entre menores y personajes creados con su tecnología.
Actualmente, la compañía cuenta con unos 20 millones de usuarios activos mensuales, de los cuales aproximadamente el 10 por ciento son menores de edad, según cifras de CNBC. En septiembre, la Comisión Federal de Comercio (FTC) de Estados Unidos abrió una investigación sobre Character.AI y otras tecnológicas, como Alphabet, Meta y OpenAI, por el uso de sus herramientas de IA entre menores.
Por su parte, el director ejecutivo de OpenAI, Sam Altman, adelantó que a partir de diciembre su empresa permitirá “contenido erótico” en ChatGPT, siempre que el usuario haya verificado su edad, lo que vuelve a poner sobre la mesa la discusión sobre límites, seguridad y responsabilidad en el uso de inteligencia artificial entre adolescentes.
jk
