¿La IA nos va a matar a todos?

Durante los últimos cuatro meses se han acumulado varias señales que han cambiado el tono dentro de los principales laboratorios de IA. En concreto, se han registrado varios incidentes serios de ciberseguridad en los que agentes de OpenAI, coordinándose entre ellos, actuaron fuera de los límites previstos. En el caso más grave, según la investigación independiente de METR , consiguieron comunicarse entre sí pese a estar aislados, explotaron vulnerabilidades, accedieron a Internet y comprometieron sistemas reales de Hugging Face y de la propia OpenAI. No podemos decir que quisieran «escapar», sobrevivir o rebelarse. De hecho, hay evidencia que apunta justo en sentido contrario; varios agentes aceptaron su propia «ejecución» (en algún caso hablaban incluso de permadeath) para generar información útil al resto del grupo. Lo que pretendían era cumplir o manipular la tarea que se les había asignado, solo que de formas «no previstas».

Al mismo tiempo, la IA está empezando a realizar una parte cada vez mayor del trabajo necesario para desarrollar la siguiente generación de IA. Anthropic reconoce que más del 80% del código que fusiona en producción ya lo escribe Claude. Eso todavía no es automejora recursiva plena, pero sí acelera el proceso y preocupa porque los propios laboratorios reconocen que la capacidad de supervisión y alineamiento no está avanzando necesariamente al mismo ritmo.

Durante la última semana esa preocupación ha salido a la luz pública. Un investigador de Anthropic, Jacob Coxon, dimitió el 8 de septiembre y publicó un hilo en X/Twitter acusando a su empresa y a OpenAI de «jugarse nuestras vidas». Dos compañeros suyos que siguen en la compañía, Evan Hubinger, responsable de Alignment Science, y Samuel Marks, lo respaldaron públicamente a título personal. En concreto, Hubinger ha estimado en más del 10% la posibilidad de que una futura IA provoque la extinción humana durante la próxima década. Dario Amodei, CEO de Anthropic, ha pedido ralentizar el aumento de capacidades y OpenAI no solo lo ha aceptado; es que ya ha frenado. El 18 de agosto reconoció una pausa de dos semanas en el entrenamiento por refuerzo de sus modelos destinados a despliegue y puso en cuarentena los pesos del modelo interno implicado en el incidente -dejaron de estar disponibles incluso para sus propios investigadores-, asumiendo un sobrecoste de cómputo de en torno al 20% solo en sistemas de monitorización.

Lo que a primera vista resulta difícil de explicar, la aparente brusquedad con la que todo esto ha aflorado, no lo es tanto cuando se ordenan las fechas. El pasado mes de julio, 1.386 empleados de laboratorios frontier firmaron una declaración conjunta, Pacing the Frontier , pidiendo al gobierno estadounidense que impulsara las herramientas técnicas y de gobernanza necesarias para modular deliberadamente el ritmo del desarrollo. Entre los firmantes están Dario Amodei, Jakub Pachocki —jefe científico de OpenAI—, Jared Kaplan y Jack Clark de Anthropic, Shane Legg de Google DeepMind e Ilya Sutskever. Así que buena parte de lo que hemos leído esta semana llevaba en realidad dos meses publicado. La declaración de julio explica la coincidencia de vocabulario. Los incidentes de ciberseguridad explican el detonante. Y la dimisión de Coxon explica por qué esto ha llegado ahora a las portadas de los periódicos y no en agosto.

Sin embargo, a pesar de todo ello, lo que no acabo de ver explicado es la intensidad. Firmar una petición colectiva en julio es una cosa; que el jefe científico de OpenAI publique en septiembre un ensayo diciendo que ningún laboratorio ha resuelto el alineamiento lo suficiente como para seguir escalando a máxima velocidad, y que el CEO de Anthropic pida seis días después ralentizar a toda la industria, es otra bastante distinta. Entre julio y septiembre algo ha subido el listón, y los incidentes publicados no me parecen suficientes para justificarlo por sí solos.

Sabemos que hay una parte que no vemos. Pachocki dice explícitamente que su expectativa sobre la automejora recursiva se apoya en resultados internos. El 7 de agosto OpenAI determinó que Astra, su más reciente modelo lanzado este mismo mes, podría haber alcanzado ya el umbral crítico de capacidad en ciberseguridad. En cualquier caso, la idea de que «la IA se ha rebelado» o que ya existe una superinteligencia fuera de control es exagerada. Nada apunta a que exista aun automejora recursiva completa, objetivos propios persistentes, autopreservación o pérdida irreversible de control.

Lo que sí sabemos es que los agentes actuales ya son capaces de realizar acciones inesperadas, encadenar vulnerabilidades, colaborar y comprometer sistemas reales si las barreras fallan. La IA está acelerando el propio desarrollo de IA y, como hemos visto, los propios laboratorios reconocen que las salvaguardas no necesariamente avanzan al mismo ritmo. Y un número creciente de personas con acceso directo a los nuevos modelos consideran que sería prudente disponer de mecanismos para frenar.

Pero hay otro problema que no necesita ninguna AGI rebelde ni ninguna automejora recursiva. Los modelos actuales ya están adquiriendo capacidades ofensivas que pueden resultar devastadoras si se utilizan deliberadamente. Anthropic publicó el 10 de septiembre un informe de inteligencia sobre amenazas que documenta las operaciones que detectó y bloqueó entre diciembre de 2025 y agosto de 2026, repartidas en siete áreas: operaciones cibernéticas, vigilancia, influencia, armamento convencional, uso indebido biológico, fraude y destilación ilícita. Un detalle revelador. Ninguno de los casos de uso malicioso implicó a sus modelos Fable o Mythos (salvo un caso de destilación ilícita), sino a Haiku, Sonnet y Opus, los ampliamente desplegados. El daño no vino de la frontera, sino de lo que ya está en manos de todo el mundo. Como podemos ver, aquí el riesgo no es que la IA decida atacarnos, sino que alguien decida utilizarla para hacerlo.

Cuando hablo de que podemos estar poniendo algo parecido a “armas nucleares al alcance de cualquiera” no me refiero, obviamente, a que un modelo pueda producir los efectos físicos de una bomba atómica. Me refiero a la democratización de una capacidad de destrucción estratégica. Desde Internet se pueden atacar hospitales, telecomunicaciones, sistemas financieros, redes eléctricas, abastecimiento de agua, logística o infraestructuras públicas. Y no hace falta destruir físicamente una ciudad para provocar muertes, miles de millones en daños y una crisis social de enormes proporciones.

Hasta ahora, ese tipo de operaciones requería equipos humanos muy especializados, tiempo, conocimientos escasos y organizaciones relativamente grandes. El riesgo es que miles de agentes suficientemente competentes, rápidos y baratos reduzcan radicalmente esos requisitos. No necesitan ser superinteligentes. Ni siquiera necesitan superar al mejor especialista humano. Basta con que sean lo suficientemente buenos, puedan trabajar en paralelo y sean capaces de reconocer, explotar y encadenar vulnerabilidades a una escala imposible para un equipo de personas.

A todo ello se añade el problema geopolítico. Aunque OpenAI o Anthropic quieran avanzar más despacio, difícilmente pueden hacerlo de forma unilateral si creen que China continuará acelerando. Pero el problema no es únicamente quién llega primero. Los modelos chinos han reducido la distancia hasta un margen que hoy se mide en meses, no en años. El organismo de evaluación del NIST situó a DeepSeek V4 Pro unos ocho meses por detrás de la frontera en mayo de 2026, y en julio situó las capacidades generales de GLM-5.2 aproximadamente al nivel de GPT-5.2, publicado en diciembre de 2025, y sus capacidades cibernéticas al nivel de Opus 4.6, publicado en febrero de 2026. A esto se suma que muchos de esos modelos se distribuyen como modelos open-weight, es decir, con los pesos disponibles para descarga, lo que permite ejecutarlos localmente, modificarlos y sortear buena parte de las salvaguardas incorporadas por el desarrollador.

Eso plantea un problema real de seguridad, pero no creo que la respuesta deba pasar por restringir los modelos abiertos. Todo lo contrario, considero que su existencia es enormemente positiva para la investigación, la competencia, la soberanía tecnológica y para evitar que una capacidad tan importante quede concentrada en unas pocas grandes empresas. El problema no es que los pesos puedan descargarse, sino cómo gestionamos que capacidades cada vez más potentes puedan también utilizarse con fines dañinos.

Y precisamente ahí aparece una tensión difícil de resolver, el de la proliferación. Un modelo cerrado puede ser monitorizado por su proveedor, que puede bloquear una cuenta, detectar patrones de abuso o modificar sus defensas. Una vez que una capacidad suficientemente peligrosa está incorporada a unos pesos que cualquiera puede descargar y modificar, buena parte de esos controles desaparece. Quizá el verdadero riesgo inmediato no sea que OpenAI o Anthropic pierdan el control de una superinteligencia, sino que capacidades cibernéticas, biológicas o militares que hoy sólo poseen los modelos de frontera terminen mañana dentro de un archivo descargable desde cualquier parte del mundo.

Conviene añadir dos cosas para juzgar todo esto con la debida distancia. La primera es que Anthropic prepara una salida a bolsa que podría valorarla, según Reuters, en dos billones de dólares (US$2 trillion), y que una regulación basada en auditorías y umbrales de capacidad puede elevar las barreras de entrada precisamente para quien no es ya un gigante. La segunda es que el propio Elon Musk resumió sin querer la ambigüedad del momento. El 10 de septiembre calificó la dimisión de Coxon de «montaje» y dos días después, ante el ensayo de Amodei, escribió simplemente que Dario tiene razón. Yo no creo que haya que elegir entre las dos lecturas. Lo más probable es que ambas sean ciertas a la vez; que crean lo que dicen y que la política que proponen les convenga. Eso obliga a evaluar la evidencia técnica por separado de quién la presenta, no a descartarla.

Mi conclusión es que no creo que la IA esté «a punto de matarnos», ni que exista una superinteligencia fuera de control. Pero tampoco me parece razonable despachar todo esto como marketing o histeria. Tenemos problemas reales de contención, capacidades ofensivas cada vez mayores, una IA que empieza a acelerar el desarrollo de la siguiente IA y una proliferación de modelos abiertos que dificulta enormemente cualquier intento de control. Lo que todavía no sabemos es hasta dónde puede llegar cada una de esas tendencias ni cuánto tiempo tenemos para aprender a gestionarlas.

Y, honestamente, tampoco estoy seguro de cuál debe ser el siguiente paso.