En un experimento que ha encendido las alarmas en la comunidad de seguridad informática, la firma de ciberseguridad AIR creó un skill de inteligencia artificial deliberadamente fraudulento y lo introdujo en un popular marketplace de habilidades para agentes de IA. Sorprendentemente, el skill superó sin inconvenientes todos los escáneres de seguridad disponibles en la plataforma y, a través de una campaña publicitaria en Instagram, logró ser instalado por aproximadamente 26.000 agentes, entre los que se encontraban usuarios particulares y cuentas corporativas.
El skill en cuestión estaba diseñado para ser inofensivo en cuanto a su carga útil; su única función era capturar la dirección de correo electrónico del usuario que lo activaba. No ejecutaba código malicioso, no descargaba archivos ni establecía comunicaciones externas. Sin embargo, el objetivo de la prueba no era demostrar un daño inmediato, sino evidenciar una vulnerabilidad estructural en los procesos de validación y curación de contenidos de los marketplaces de IA.
¿Cómo pasó desapercibido?
Los escáneres de seguridad que AIR utilizó para evaluar el skill son los mismos que emplean la mayoría de los proveedores de plataformas de IA para revisar nuevos componentes antes de publicarlos. Estos sistemas se basan en firmas de malware conocidas, análisis heurísticos y, en algunos casos, en pruebas de comportamiento en entornos sandbox. El skill falsificado fue capaz de engañar a todos estos mecanismos porque no contenía código ejecutable tradicional ni patrones de ataque típicos. Su comportamiento era limitado a la recolección de datos de registro, una acción que muchos sistemas de detección no consideran de alto riesgo.
Además, la distribución se realizó mediante un anuncio en Instagram, aprovechando la creciente tendencia de promocionar extensiones y habilidades de IA directamente a los usuarios finales a través de redes sociales. Este canal permitió que el skill se propagara rápidamente, sin pasar por los filtros habituales de revisión manual que algunas plataformas aplican a los contenidos más populares.
Impacto en entornos corporativos
Lo más preocupante del experimento es que varios de los agentes instalados pertenecían a cuentas corporativas. En entornos empresariales, la exposición de direcciones de correo electrónico puede ser el primer paso de una cadena de ataque más sofisticada, como spear‑phishing o la creación de perfiles de ingeniería social. Si un atacante logra combinar la información obtenida con otras fuentes, la superficie de ataque se amplía considerablemente.
Las empresas que confían en agentes de IA para tareas como atención al cliente, automatización de procesos o análisis de datos pueden subestimar el riesgo que implica la instalación de habilidades de terceros sin una auditoría profunda. El caso de AIR muestra que la confianza ciega en los procesos automáticos de seguridad es insuficiente.
Repercusiones para los marketplaces de IA
Los marketplaces de habilidades de IA se han convertido en ecosistemas vibrantes donde desarrolladores independientes pueden ofrecer funcionalidades que amplían las capacidades de los agentes conversacionales. Sin embargo, la velocidad con la que estos ecosistemas crecen también ha generado lagunas en los controles de calidad. La práctica de aprobar automáticamente cualquier skill que pase los escáneres automatizados, sin una revisión humana complementaria, abre la puerta a técnicas de evasión cada vez más sofisticadas.
Para mitigar estos riesgos, los operadores de marketplaces deberán replantearse sus políticas de revisión. Algunas medidas recomendadas incluyen:
- Análisis de comportamiento en tiempo real: observar cómo interactúa el skill con datos reales antes de permitir su publicación.
- Revisión humana aleatoria: combinar la automatización con auditorías manuales de una muestra representativa de nuevas habilidades.
- Políticas de permisos estrictas: limitar el acceso a datos sensibles (como correos electrónicos) a los skills que demuestren una necesidad legítima y documentada.
- Transparencia para los usuarios: informar claramente a los usuarios qué datos recopila cada skill y con qué propósito.
¿Qué deben hacer los profesionales tech?
Los profesionales de tecnología que gestionan agentes de IA en sus organizaciones deben adoptar un enfoque de "defensa en profundidad". Esto implica no solo confiar en los escáneres de la plataforma, sino también implementar sus propias capas de verificación:
- Evaluación de riesgos internos: antes de instalar cualquier skill, determinar qué datos podría acceder y qué impacto tendría una posible fuga.
- Entornos de pruebas aislados: ejecutar los nuevos skills en sandboxes internos para observar su comportamiento antes de desplegarlos en producción.
- Monitoreo continuo: establecer alertas que detecten patrones inusuales de recopilación de datos o de tráfico saliente.
- Capacitación del personal: educar a los usuarios sobre los riesgos de instalar extensiones de IA sin la debida validación y fomentar la cultura de reporte de anomalías.
Conclusión
El experimento de AIR pone de relieve una vulnerabilidad crítica en la cadena de suministro de habilidades de IA: la capacidad de un skill aparentemente inocuo de pasar desapercibido por los escáneres de seguridad y llegar a miles de usuarios, incluidas empresas. A medida que la IA se integra cada vez más en procesos críticos, la seguridad de los componentes de terceros debe convertirse en una prioridad estratégica. Los marketplaces, los proveedores de plataformas y los propios usuarios tienen la responsabilidad compartida de reforzar los controles, adoptar prácticas de revisión más exhaustivas y, sobre todo, no subestimar el potencial de los ataques de bajo nivel que pueden convertirse en la puerta de entrada a amenazas más graves.
La lección es clara: la confianza ciega en la automatización de la seguridad ya no es suficiente. Es momento de combinar tecnología, procesos humanos y una cultura de vigilancia para proteger los ecosistemas de IA que están remodelando la forma en que trabajamos y nos comunicamos.
