Character.ai se convirtió en la primera gran empresa de inteligencia artificial (IA) en prohibir a los menores de 18 años interactuar con chatbots en su plataforma, en medio del creciente escrutinio público y regulatorio sobre la seguridad de esta tecnología para los jóvenes usuarios.
La compañía, con sede en California, que ofrece diferentes perfiles de IA para interactuar con ellos, limitará las conversaciones de este grupo de edad a dos horas por día, reduciendo poco a poco este límite hasta su completa suspensión a partir del 25 de noviembre.
“Los efectos a largo plazo del uso prolongado de la IA no se comprenden del todo”, declaró Karandeep Anand, director ejecutivo de Character.ai, a Financial Times.
Añadió que la empresa busca “transformar las conversaciones con chatbots” en una “experiencia mejor y más segura para nuestros usuarios adolescentes”.
“Esperemos que esto tenga consecuencias de gran alcance para la industria”, señaló.
Esta medida surge en un contexto de creciente escrutinio al que se enfrentan los grupos de inteligencia artificial, como OpenAI, luego de casos de suicidio y daños graves a usuarios jóvenes.
Character.ai se enfrenta a varias demandas, incluida una en Florida en la que se alega que la plataforma influyó en el suicidio de un joven de 14 años. OpenAI también fue demandada por homicidio culposo, después de que un joven de 16 años se suicidara después de hablar sobre métodos con ChatGPT.
El mes pasado, la Comisión Federal de Comercio de EU inició una investigación sobre los llamados “compañeros” de IA que utilizan adolescentes, lo que aumentó la presión sobre la industria.
OpenAI implementó actualizaciones de seguridad en los últimos meses y reconoció que sus medidas se debilitan durante conversaciones prolongadas.
La startup, que tiene una valoración de 500 mil millones de dólares, indicó que más de un millón de sus 800 millones de usuarios conversan semanalmente sobre suicidio con ChatGPT, y que entrenó sus modelos para “reconocer mejor la angustia, reducir la tensión en las conversaciones y orientar a las personas hacia la ayuda profesional cuando fuera necesario”.
Character.ai, que ofrece chatbots que representan personajes como “faraón egipcio”, “gerente de recursos humanos” o “novia tóxica”, indicó que los menores de 18 años podrán seguir creando videos e historias con los personajes existentes —y crear otros nuevos— en la plataforma mediante indicaciones de texto. Sin embargo, no podrán mantener una conversación continua.
“A medida que es más larga la conversación, más abierta se vuelve. Al generar videos cortos, historias o juegos, el ámbito es mucho más restringido para garantizar una experiencia más segura”, explicó Anand.
También implementará tecnología de verificación de edad para comprobar mejor si sus usuarios son menores de edad. Ofrecerá escaneo biométrico o la posibilidad de subir un documento de identidad oficial si un usuario cree que de forma errónea lo identificaron como menor de edad.
Character.ai tiene 20 millones de usuarios activos mensuales, de los cuales cerca de la mitad son mujeres y 50 por ciento pertenece a la Generación Z o Alfa (nacidos después de 1997). La empresa afirma que menos de 10 por ciento de sus usuarios se identifican como menores de 18 años.
Esta startup permite conversaciones románticas para usuarios adultos, pero no de contenido sexual explícito. Prohíbe el contenido sexual no consensuado, las descripciones gráficas o específicas de actos sexuales, y la promoción o representación de autolesiones o suicidio.
Character.ai también creará una organización sin fines de lucro llamada AI Lab, que llevará a cabo y publicará investigaciones sobre las interacciones de los usuarios con la IA. Además, colabora con otras organizaciones para brindar apoyo a los usuarios adolescentes durante el proceso de transición hasta que se elimine la experiencia con los chatbots.
“Las redes sociales funcionaron sin control durante mucho tiempo”, declaró Anand.
Con información de: Melissa Heikkilä en Londres
