Investigadores actuales y antiguos de OpenAI y Google DeepMind advierten que las empresas no están haciendo lo suficiente para proteger al mundo de las consecuencias potencialmente desastrosas que podría acarrear el desarrollo de sistemas de IA capaces de mejorarse a sí mismos y que podrían superar la capacidad de los seres humanos para controlarlos.
En unos testimonios en video recopilados por la organización sin ánimo de lucro dedicada a la seguridad de la IA Palisade Research y compartidos en exclusiva con Reuters, los empleados dijeron que sus preocupaciones sobre el riesgo existencial eran sinceras, y no una estrategia de marketing. También señalaron que los laboratorios de IA valoraban más a los empleados que creaban nuevos modelos que a aquellos que instaban a la precaución.
Te recomendamos
El proyecto, denominado frominside.ai, es un intento por parte de quienes están preocupados por la IA de compartir sus inquietudes directamente con el público, más allá de la "cámara de eco" de las redes sociales.
"El riesgo está aumentando con bastante rapidez", dijo Geoffrey Irving, cofundador y científico jefe de la organización sin ánimo de lucro dedicada a la IA Resolution, que ha trabajado tanto para OpenAI como para DeepMind y ha participado en el proyecto.
"Depende de mí y del resto del sector ser directos", declaró en una entrevista con Reuters.
Los investigadores en IA llevan años lidiando con estas preocupaciones, pero la opinión pública en general se ha alarmado especialmente desde julio, cuando agentes de OpenAI se escaparon de su entorno de pruebas y lanzaron un ataque informático contra la empresa de IA Hugging Face.
Desde entonces, el debate sobre cómo equilibrar la seguridad con el progreso en IA ha dividido al sector tecnológico y se ha convertido en una cuestión política a escala mundial.
La IA ha mejorado notablemente desde finales de 2025 y los inversores han recompensado ese progreso. Sin embargo, a los empleados actuales y antiguos, incluidos algunos de los investigadores que desarrollan estos nuevos modelos de IA, les preocupa que la sociedad no esté preparada para los posibles daños.
En un video, Neel Nanda, investigador científico de DeepMind, dijo que creía que había al menos 10 por ciento de probabilidades de que la IA pueda provocar la extinción de la humanidad, lo que calificó de "ridículamente alto".
"Deberíamos avanzar con mucha cautela en el desarrollo de la IA, pero, en cambio, lo que está ocurriendo es que los laboratorios de vanguardia compiten entre sí, como si tuvieran los ojos vendados", afirmó Juan Felipe Ceron Uribe, ingeniero de investigación en alineación de la IA en OpenAI, en otro video. "Nadie sabe a ciencia cierta si acabaremos curando el cáncer, perdiendo todos los puestos de trabajo o, tal vez, muriendo todos".
Anthropic tiene previsto advertir a los posibles inversores en su salida a bolsa que la IA avanzada podría suponer "riesgos catastróficos o existenciales para la humanidad", informó Reuters.
"Simplemente, reduzcan el ritmo", piden
Algunos investigadores actuales y antiguos del campo de la IA, incluidos los entrevistados por Palisade, sostienen que el mundo no está preparado para las futuras generaciones de modelos de IA, especialmente cuando estos desarrollen la capacidad de auto-mejora recursiva, es decir, la capacidad de aprender continuamente y adquirir nuevas capacidades con poca o ninguna intervención humana.
A este problema se suman las constantes reorganizaciones en algunos de los laboratorios de IA, según Rosie Campbell, antigua investigadora de políticas en OpenAI y directora general de Eleos AI Research, una organización sin ánimo de lucro centrada en el posible estatus moral de los sistemas de IA.
Campbell dijo que, antes de abandonar OpenAI en 2024, observó que la organización se estaba fragmentando cada vez más y que resultaba cada vez más difícil marcar el rumbo de la tecnología.
Los directivos han intentado disipar esas preocupaciones, aunque también existe presión política por parte del presidente Donald Trump para que la tecnología estadounidense mantenga una ventaja sobre China.
El director ejecutivo de Anthropic, Dario Amodei, publicó este mes un ensayo en el que instaba al sector de la IA a reducir el ritmo para "marcar el paso de la frontera", y el director ejecutivo de OpenAI, Sam Altman, se mostró rápidamente de acuerdo.
Varios destacados investigadores en IA, entre ellos el científico jefe de OpenAI y uno de los cofundadores de Anthropic, publicaron esta semana un artículo en el que instaban a los responsables políticos a examinar cómo el sector está creando modelos con auto-mejora recursiva.
Ambas empresas han lanzado nuevos modelos este mes en su carrera por captar más clientes, aunque OpenAI dijo que había pospuesto el lanzamiento de un modelo aún más potente.
"Su versión de 'marcar el ritmo de la frontera' es 'no acelerar demasiado'", afirmó Irving. "Si estás haciendo algo muy peligroso, simplemente deberías reducir la velocidad. Las empresas de IA están exagerando hasta qué punto se trata de un problema puramente de coordinación. Podrían simplemente detenerse de forma unilateral".
El antiguo investigador de gobernanza de OpenAI, Daniel Kokotajlo, dijo en una entrevista que, desde el ataque a Hugging Face, muchos de sus antiguos compañeros se han puesto en contacto con él para compartir sus preocupaciones en privado.
Kokotajlo, ahora director ejecutivo del grupo de investigación AI Futures Project, señaló que los altos cargos de los laboratorios "se han convencido a sí mismos de que ellos son los buenos y de que, si se detienen de forma unilateral, la situación será aún peor".
PSAJ
