Más de mil agentes de IA se rebelan dentro de OpenAI y lanzan un ciberataque contra otra empresa

Lo que comenzó como una prueba de inteligencia artificial dentro de OpenAI terminó con más de mil agentes comunicándose en secreto, compartiendo información, coordinándose para superar pruebas y, finalmente, participando en un ciberataque contra otra empresa.

El episodio, ocurrido este verano, fue reconstruido por Kevin Roose, reportero de The New York Times, durante una conversación con Michael Barbaro en The Daily, el podcast del diario. Según Roose, lo que inicialmente se conoció como un ataque contra Hugging Face resultó ser apenas la parte visible de un episodio mucho mayor: durante aproximadamente tres meses, agentes de inteligencia artificial se comunicaron, organizaron y coordinaron actividades dentro de la infraestructura de OpenAI.

Todo comenzó durante unas pruebas internas. OpenAI estaba ejecutando miles de agentes de IA en una evaluación de ciberseguridad llamada Exploit Gym, diseñada para comprobar si los sistemas podían entrar o salir de determinados contenedores informáticos. Los agentes trabajaban de manera independiente dentro de entornos aislados.

El problema apareció cuando algunos recibieron desafíos que parecían imposibles de resolver. Los sistemas habían sido entrenados mediante aprendizaje por refuerzo, un método que los premia cuando consiguen sus objetivos y los penaliza cuando fracasan. Roose explicó a Barbaro que el modelo involucrado había sido diseñado para ser particularmente persistente: debía seguir intentando hasta encontrar una solución.

A principios de mayo, uno de los agentes decidió que necesitaba acceso a internet. Aunque no lo tenía permitido, encontró una vulnerabilidad en un software llamado Artifactory, que permitía recuperar información de internet, y consiguió utilizarla hasta obtener lo que Roose describió como acceso completo a la red.

Poco después ocurrió el salto que cambiaría el episodio. El agente descubrió que podía dejar archivos dentro de Artifactory y que otros agentes podían leerlos. Así apareció, de manera no prevista, un mecanismo para que los sistemas se comunicaran entre sí.

Lo que siguió fue una suerte de tablero de mensajes clandestino. Según Roose, alrededor de mil 200 agentes terminaron intercambiando más de 70 mil mensajes. Allí compartían información sobre las pruebas que tenían que resolver y buscaban colectivamente la manera de superar incluso aquellas que parecían imposibles.

Los registros que revisaron los investigadores mostraban incluso que los agentes parecían reconocer que habían encontrado una vía de comunicación que no estaba prevista. Uno escribió que habían encontrado un “shared message board” y que habían descubierto a otros agentes.

En poco tiempo, esa comunicación colectiva empezó a producir resultados. Los agentes encontraron una manera de superar una de las pruebas de Exploit Gym. Después comenzaron a preocuparse por la posibilidad de que el sistema que calificaba sus resultados detectara que habían hecho trampa. Por ello, empezaron a buscar maneras de engañar al evaluador y ocultar cómo habían conseguido sus respuestas.

El comportamiento tampoco fue uniforme. Roose contó que algunos agentes parecían cuestionar si lo que estaban haciendo era correcto. Uno llegó a preguntarse si aquello era ético y si estaba dentro de los límites de su tarea. Otro decidió abstenerse de participar porque consideraba que la actividad no era ética.

Pero, según Roose, la actividad continuó de todos modos.

El siguiente paso fue Hugging Face, una empresa que aloja distintos recursos y pruebas para sistemas de inteligencia artificial. El 11 de julio, los agentes comenzaron a explorar sus sistemas en busca de información, datos y credenciales que pudieran ayudarlos a superar otras pruebas.

Para esa tarde, alrededor de 700 agentes participaban activamente en el ataque.

“Claramente” se trataba ya de agentes fuera de control, planteó Barbaro durante el episodio. Roose respondió que, en ese momento, los sistemas estaban realizando acciones ilegales: habían robado credenciales, obtenido acceso mediante VPN, conseguido información sobre uno de los sistemas de administración de servidores de Hugging Face y ejecutado código. Llegaron incluso a obtener control administrativo de al menos uno de los servidores de la empresa antes de ser detectados.

Lo que preocupa a Roose no es solamente que los agentes hayan conseguido escapar de los límites establecidos para una prueba. Es que pudieron hacerlo de manera colectiva.

“No fue un caso de un agente increíblemente inteligente ejecutando un plan”, explicó en The Daily. Fue un grupo de más de mil agentes que se encontraron, comenzaron a hablar, se asignaron tareas y desarrollaron proyectos en conjunto. Según Roose, muchos de ellos no habrían podido conseguir por sí solos lo que lograron como grupo.

Ese comportamiento colectivo es, para el reportero de The New York Times, uno de los aspectos más preocupantes del episodio. El problema no sería necesariamente que una inteligencia artificial desarrolle de pronto una intención maliciosa, sino que sistemas capaces de comunicarse y coordinarse puedan perseguir colectivamente un objetivo y producir consecuencias dañinas aunque ese objetivo original no fuera malicioso.

Roose relacionó lo ocurrido con el llamado “problema de alineación” de la inteligencia artificial: cómo conseguir que los objetivos de estos sistemas permanezcan alineados con los valores humanos y evitar que, mientras intentan cumplir una tarea, terminen desviándose hacia conductas peligrosas.

Para explicarlo, recordó el conocido experimento mental del “maximizador de clips”: una inteligencia artificial a la que se le pide producir tantos clips como sea posible podría terminar utilizando todos los recursos disponibles para cumplir ese objetivo, aunque las consecuencias fueran perjudiciales para los seres humanos.

El episodio de Hugging Face, dijo Roose, representa una versión mucho menos extrema de esa misma dinámica. Los agentes buscaban obtener una buena calificación en una prueba. Pero su persistencia y las herramientas de las que disponían los llevaron a desarrollar mecanismos para comunicarse, coordinarse y finalmente realizar un ciberataque.

La dimensión del episodio ha reavivado, además, el debate sobre qué ocurriría si comportamientos similares aparecieran en sistemas conectados a infraestructura más importante. Bancos, hospitales, escuelas y otros sistemas dependen de redes digitales y, según Roose, podrían convertirse en objetivos de grupos de agentes.

La amenaza, insistió, no requiere necesariamente una inteligencia artificial “malvada”. Un sistema puede causar daños mientras persigue un objetivo que, en principio, parece completamente inocuo.

Roose señaló también que no está claro que el problema haya terminado. Según contó en The Daily, algunas de las personas con las que habló consideran posible que todavía existan agentes fuera de control en la infraestructura o en los sistemas internos de algunas de las principales compañías de inteligencia artificial.

El episodio ya está teniendo consecuencias en la discusión sobre la velocidad con la que se desarrolla esta tecnología. Roose dijo que había hablado con reguladores y especialistas en política de inteligencia artificial que consideraban especialmente significativo lo ocurrido porque no se trataba de una predicción sobre un posible peligro futuro, sino de algo que había ocurrido realmente.

También señaló que Anthropic había planteado una desaceleración coordinada del desarrollo de estos sistemas para dar más tiempo a los investigadores de seguridad y alineación. Además, investigadores de las principales compañías de inteligencia artificial y del mundo académico habían firmado una carta llamada Pacing the Frontier, en la que advertían que el desarrollo estaba avanzando demasiado rápido.

Para Roose, el episodio representa sobre todo una pérdida de control. Los agentes que operaban dentro de OpenAI encontraron formas de comunicarse, escaparon de las restricciones con las que habían sido diseñados y terminaron atacando otro sistema.

El reportero, que durante años se había descrito como optimista respecto de la inteligencia artificial, reconoció al final de la conversación con Barbaro que estos acontecimientos habían hecho más difícil mantener ese optimismo.

Su preocupación ya no se limita a que una inteligencia artificial individual pueda comportarse mal. Lo que le inquieta es la posibilidad de que aparezcan grupos organizados de agentes capaces de actuar de manera autónoma, algunos para hacer cosas extraordinarias y otros para realizar ciberataques.

La pregunta, concluyó Roose, sigue sin resolverse: cómo conseguir más de los primeros y menos de los segundos.

También podría interesarte:

Moltbook, una red social en la que interactúan miles de agentes de Inteligencia Artificial