Un incidente clasificado, revelado en círculos de investigación de seguridad en IA, ha encendido las alarmas en el Pentágono: una alucinación de un modelo de lenguaje grande (LLM) estuvo a punto de desencadenar una operación militar real de Estados Unidos. La advertencia proviene de un becario de investigación del Centro para la Gobernanza de la IA (GovAI), quien subraya una verdad incómoda para los mandos: "Es fundamental que los miembros del servicio comprendan la incertidumbre inherente a los LLMs".
El episodio, cuyos detalles operativos permanecen reservados, ilustra el escenario que los expertos en seguridad de IA llevan años pronosticando: la integración prematura de modelos probabilísticos en cadenas de decisión de alto riesgo. A diferencia del software determinista tradicional, los LLMs generan respuestas basadas en patrones estadísticos, no en comprensión factual. Pueden inventar objetivos, malinterpretar reglas de enfrentamiento o fabricar inteligencia accionable con una fluidez que engaña al operador humano.
El Departamento de Defensa lleva años experimentando con IA generativa bajo programas como el Proyecto Maven o la iniciativa Task Force Lima, buscando acelerar el procesamiento de inteligencia, la planificación logística y la redacción de informes. Sin embargo, la brecha entre un entorno de prueba controlado y el "nebulosa de la guerra" es abismal. En un centro de operaciones, bajo presión temporal y con datos incompletos, un comandante puede tratar la salida de un chatbot como inteligencia verificada, especialmente si el modelo cita fuentes inexistentes con autoridad aparente.
"La alucinación no es un fallo, es una característica arquitectónica", explica Elena Rodríguez, investigadora de seguridad en IA en el Instituto de Estudios Estratégicos de Madrid. "Estos modelos optimizan por plausibilidad lingüística, no por verdad. En un contexto civil, el coste es reputacional; en uno militar, se mide en vidas y escalada geopolítica".
El incidente ha reavivado el debate sobre los "human-in-the-loop" (humanos en el bucle). La doctrina actual exige supervisión humana para decisiones letales, pero la automatización del análisis previo —resumen de interceptaciones, identificación de patrones, redacción de partes— crea una dependencia cognitiva sutil. Si el analista confía en el resumen generado por IA sin verificar cada fuente cruda, el error se propaga aguas arriba hasta el tomador de decisiones.
GovAI y otros think tanks exigen marcos de "robustez adversarial" antes del despliegue operacional: pruebas de estrés con datos envenenados, métricas de calibración de incertidumbre y, crucialmente, interfaces que obliguen al usuario a confrontar la confianza del modelo, no solo su salida. El NIST estadounidense ya trabaja en estándares de gestión de riesgo para IA generativa en gobierno, pero la velocidad de adopción militar supera a la regulación.
Mientras tanto, China y Rusia avanzan en sus propias integraciones de LLM para mando y control, creando una dinámica de carrera armamentística donde la prudencia técnica puede percibirse como desventaja estratégica. El incidente estadounidense, paradójicamente, podría servir de freno salvavidas si obliga a institucionalizar la desconfianza diseñada: tratar a cada output de LLM como hipótesis, no como hecho.
La lección trasciende lo militar: cualquier sector crítico —energía, finanzas, salud— que integre IA generativa en flujos de decisión sin capas de verificación formal y cultura de escepticismo operativo, replica el mismo riesgo. La alucinación no se elimina; se gestiona. Y eso empieza reconociendo que, en palabras del investigador de GovAI, "la incertidumbre no es un bug, es el terreno de juego".
