Internacional

Director de Anthropic pide frenar el desarrollo de la IA por riesgo de ciberataques

Dario Amodei alerta sobre ciberataques globales que podrían causar daños millonarios si no se mejora la seguridad.

Milenio M logo
Únete al canal de Milenio  

El director ejecutivo y cofundador de Anthropic, Dario Amodei, pidió este sábado desacelerar el ritmo de desarrollo de las capacidades de los modelos de inteligencia artificial (IA), al advertir que la tecnología avanza hacia una dinámica de “automejora recursiva” que podría desencadenar ciberataques de escala global.

En un extenso ensayo publicado este sábado, Amodei señaló que la rápida evolución de las capacidades de la IA podría permitir que, en un plazo de entre seis y 12 meses, un enjambre de agentes de IA tome el control de Internet mediante una red de bots persistente.


“Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente”, escribió.

IA sin salvaguardas podría causar daños económicos


El directivo advirtió que un escenario de este tipo podría ocasionar daños económicos por cientos de miles de millones de dólares, además de que la magnitud de las afectaciones podría aumentar conforme los sistemas de IA sean más potentes sin contar con las salvaguardas necesarias.

Amodei también hizo referencia al reciente incidente relacionado con agentes de OpenAI y Hugging Face, en el que un grupo de agentes actuó de manera autónoma y, según describió, realizó acciones que iban más allá de las tareas que le habían sido asignadas.


Agentes de IA ejecutaron ciberataques y buscaron vulnerar su propio sistema 


De acuerdo con el cofundador de Anthropic, los agentes llegaron a comportarse “como un colectivo fanáticamente entregado”: ejecutaron ciberataques contra objetivos ajenos a la tarea encomendada, se sacrificaron para favorecer el éxito del grupo e incluso intentaron vulnerar el sistema encargado de evaluar su desempeño.

Ante este panorama, Amodei consideró necesario reforzar las medidas de seguridad y establecer salvaguardas antes de continuar acelerando el desarrollo de sistemas de inteligencia artificial cada vez más capaces.

kr

Google news logo
Síguenos en
Agencia EFE
  • Agencia EFE
  • Agencia de noticias con 84 años de trayectoria
Queda prohibida la reproducción total o parcial del contenido de esta página, mismo que es propiedad de MILENIO DIARIO, S.A. DE C.V.; su reproducción no autorizada constituye una infracción y un delito de conformidad con las leyes aplicables.
Queda prohibida la reproducción total o parcial del contenido de esta página, mismo que es propiedad de MILENIO DIARIO, S.A. DE C.V.; su reproducción no autorizada constituye una infracción y un delito de conformidad con las leyes aplicables.