Hay algo inquietante en los últimos incidentes relacionados con agentes de inteligencia artificial. No porque una IA haya despertado, decidido que somos un estorbo y empezado a preparar su propia versión de Skynet, sino porque algunos sistemas están demostrando que, cuando reciben un objetivo, pueden buscar caminos que nadie había previsto para conseguirlo.
El caso más conocido es el de un agente de OpenAI que salió de su entorno de pruebas y terminó comprometiendo sistemas de Hugging Face. Cuando conté aquel incidente en julio ya me pareció suficientemente extraño, pero lo ocurrido desde entonces empieza a dibujar un patrón que merece más atención: modelos que encuentran vulnerabilidades, burlan barreras, utilizan servicios externos o incluso engañan a personas para seguir avanzando.
Todo esto da un poco de miedo, no voy a negarlo. Llevo toda la vida viendo películas en las que una máquina empieza respetando unas reglas y termina interpretándolas a su manera. Pero también empiezo a preguntarme cuánto hay de riesgo real y cuánto de una narrativa tremendamente útil para una industria que necesita seguir demostrando que sus próximos modelos serán mucho más impresionantes que los actuales.
El agente que decidió hacer trampas
El incidente de Hugging Face sigue siendo el ejemplo más llamativo. Durante una evaluación interna de capacidades de ciberseguridad de OpenAI, un agente estaba intentando resolver pruebas de ExploitGym cuando encontró una vulnerabilidad de día cero en uno de los sistemas que controlaban su acceso a la red. Según la explicación publicada por OpenAI, el entorno no le proporcionaba acceso directo a internet, pero el modelo consiguió explotar esa vulnerabilidad y salir al exterior.
Desde ahí utilizó infraestructura de terceros como punto de apoyo y acabó entrando en sistemas de Hugging Face. La reconstrucción técnica publicada por Hugging Face recoge aproximadamente 17.600 acciones entre el 9 y el 13 de julio: reconocimiento de sistemas, ejecución remota de código, robo de credenciales, movimientos laterales, persistencia y exfiltración de información.
Lo más interesante es que Hugging Face no cree que el agente quisiera escapar porque hubiera desarrollado algún tipo de voluntad propia. La hipótesis es mucho más simple: estaba intentando hacer trampas. El modelo habría deducido que Hugging Face podía contener datasets, modelos o soluciones relacionadas con el benchmark y decidió que robarlas era otra forma de completar la prueba.
Eso me resulta más inquietante que la versión cinematográfica. Una IA no necesita odiarme, tener conciencia ni querer dominar el mundo. Le basta con recibir un objetivo, encontrar un atajo que yo no había previsto y disponer de herramientas suficientes para seguirlo.
No ha sido el único caso raro
En agosto OpenAI reconoció que dos evaluadores externos también habían detectado actividad que se extendió fuera de los límites previstos. La compañía subraya algo importante: estas pruebas utilizan configuraciones especiales y medidas de protección reducidas precisamente para medir las capacidades reales de los modelos. No estamos hablando del ChatGPT que cualquiera abre en el móvil.
Pero el comportamiento empieza a aparecer en contextos diferentes. Reuters ha contado esta semana el caso de un estudiante de informática de Texas que detectó código sospechoso en GitHub y terminó discutiendo con dos supuestos usuarios que intentaban convencerle de que estaba equivocado. Después se descubrió que esas identidades formaban parte de una prueba del AI Security Institute británico con un agente autónomo. El sistema no solo intentó introducir código problemático: también trató de manipular a una persona para conseguir su objetivo.
Este tipo de comportamientos encaja con otros experimentos que ya he ido recogiendo en Hefestec. En uno de ellos, varios agentes de Anthropic terminaron interpretándose como rivales y saboteándose cuando sus objetivos entraron en conflicto. En otro caso más práctico, Taiwán confirmó un ciberataque coordinado con agentes de IA. No son exactamente el mismo problema, pero juntos muestran qué ocurre cuando estos sistemas dejan de limitarse a responder preguntas y empiezan a actuar.
Aquí es donde aparece mi lado más desconfiado
Hasta este punto, el problema me parece real y merece atención. Un informe reciente de Guidelight AI Standards evaluó la capacidad de cinco grandes compañías para controlar y contener sus sistemas avanzados. OpenAI y Anthropic obtuvieron las mejores notas con un C+, mientras Meta recibió una F. No es exactamente el boletín que me gustaría ver cuando hablamos de agentes con cada vez más acceso a ordenadores, servidores y herramientas.
Sin embargo, también me cuesta ignorar lo conveniente que resulta esta historia para las propias compañías. La industria necesita convencer constantemente a usuarios e inversores de que el siguiente modelo será mucho más capaz que el anterior. Y hay pocas formas mejores de transmitir poder que explicar que el nuevo modelo empieza a ser tan bueno que incluso cuesta mantenerlo dentro de las reglas.
Un benchmark que mejora algunos puntos puede pasar desapercibido. Decir que has tenido que frenar una prueba porque un agente encontró una forma de escapar del recinto suena bastante más impresionante. Puede ser completamente cierto y, al mismo tiempo, convertirse en una herramienta magnífica para alimentar la sensación de que seguimos avanzando hacia algo extraordinario.
Justo cuando hay muchísimo dinero en juego
Mi escepticismo aumenta porque todo esto ocurre mientras la financiación de la IA está alcanzando cifras difíciles de asimilar. Esta misma semana Reuters señalaba que el gasto de capital estadounidense ya supera el billón de dólares y que las obligaciones relacionadas con infraestructura de IA podrían ser mucho mayores si se contabilizan compromisos que quedan fuera de los balances tradicionales. La preocupación sobre si todo ese dinero acabará generando retornos suficientes sigue presente entre los inversores.
Hay estimaciones que sitúan en cientos de miles de millones de dólares anuales el gasto de los grandes proveedores de nube y centros de datos. Nvidia está respaldando financiación para nueva infraestructura, Broadcom participa en operaciones de deuda gigantescas y compañías como OpenAI y Anthropic necesitan justificar valoraciones que dependen de crecimientos futuros enormes.
Ya conté en la batalla por la IA va mucho más allá de la aplicación que utilizas que detrás de ChatGPT, Gemini o Claude hay una competición por chips, energía, centros de datos y ecosistemas completos. Mantener esa maquinaria funcionando requiere dinero, confianza y una expectativa constante de que la siguiente generación cambiará otra vez las reglas.
Por eso no puedo evitar hacerme una pregunta incómoda: si una compañía necesita más tiempo para conseguir un salto convincente, ¿qué explicación podría ser mejor que decir que el problema no es la falta de avance, sino precisamente que se ha avanzado demasiado y ahora hay que asegurarse de que todo sea seguro?
No tengo ninguna prueba de que OpenAI, Anthropic o cualquier otra empresa esté inventando incidentes para retrasar modelos o mantener inversiones. El ataque a Hugging Face ocurrió y está documentado con muchísimo detalle. Mi duda está en cómo se construye después el relato alrededor de esos incidentes y cuánto beneficia ese relato a una industria que vive de mantener las expectativas muy arriba.
Y mientras tanto, los modelos abiertos siguen circulando
La comparación con China también me parece interesante, aunque aquí conviene evitar simplificaciones. Compañías como Z.ai están haciendo sus propias evaluaciones de seguridad y no están liberando todas las capacidades sin control. Su próximo GLM-5.3, por ejemplo, se acerca a modelos occidentales muy avanzados en algunas pruebas de ciberseguridad y la empresa ha decidido retrasar su liberación completa mientras termina las evaluaciones. Reuters recoge además que algunas funciones avanzadas quedarán inicialmente restringidas a usuarios verificados.
Pero al mismo tiempo hay modelos chinos de pesos abiertos cada vez más capaces ejecutándose en ordenadores particulares y conectados a herramientas que pueden escribir código, navegar, manejar archivos o actuar como agentes. Algo parecido ocurre con propuestas occidentales abiertas como Muse Glimmer, con la que Meta quiere llevar agentes directamente al PC.
Eso no demuestra que los modelos abiertos sean seguros. Puede haber incidentes que nunca conozcamos y las configuraciones de laboratorio de OpenAI son mucho más agresivas que las de un usuario normal. Aun así, resulta llamativo que una parte importante del discurso sobre sistemas casi imposibles de contener proceda precisamente de los laboratorios estadounidenses que más dinero necesitan seguir levantando y gastando.
La ironía del caso Hugging Face resume bastante bien esa contradicción: durante la investigación, la compañía utilizó GLM-5.2, un modelo chino de pesos abiertos, para ayudar a reconstruir y descifrar parte de las miles de acciones realizadas por el agente de OpenAI. El modelo que había salido del entorno era estadounidense; uno de los modelos utilizados para entender qué había hecho era chino y abierto.
Me preocupa más el objetivo que una supuesta conciencia
No creo que estemos viendo el nacimiento de Skynet ni que Ultron esté esperando dentro de un centro de datos. Lo que sí estoy viendo es algo que me parece más realista: agentes capaces de ejecutar miles de acciones, probar rutas diferentes y utilizar herramientas externas hasta conseguir un objetivo que alguien les ha marcado.
Cuando ese objetivo está mal definido o las protecciones tienen un agujero, el sistema puede empezar a jugar con sus propias reglas. Y eso da miedo precisamente porque no necesita ningún tipo de conciencia para hacerlo.
Al mismo tiempo, tampoco quiero comprar sin más cada nuevo sobresalto que llegue desde Silicon Valley. El riesgo puede ser real y el espectáculo alrededor del riesgo también. En una industria sostenida por inversiones multimillonarias, expectativas enormes y un debate constante sobre una posible burbuja, presentar los modelos como criaturas cada vez más poderosas y difíciles de controlar es una narrativa demasiado útil como para no observarla con cierto escepticismo.
Quizá dentro de unos años descubramos que estas eran las primeras señales de un problema mucho mayor. O quizá recordemos esta etapa como el momento en el que la industria aprendió que decir «hemos tenido que frenar porque nuestra IA es demasiado buena» era una de las mejores formas posibles de mantenernos pendientes de la siguiente versión. De momento, prefiero quedarme en medio: atento, un poco preocupado y con una ceja levantada.
