La seguridad de las interfaces de programación de aplicaciones (APIs) que alimentan los grandes modelos de lenguaje está bajo escrutinio tras un nuevo estudio que ha puesto al descubierto una falla capaz de filtrar no solo datos confidenciales, sino también el "razonamiento" cifrado que los modelos de IA utilizan internamente.
Un equipo de investigadores de seguridad logró explotar una vulnerabilidad presente en las APIs de OpenAI, Anthropic y Google, que les permitió extraer trazas de razonamiento encriptadas y transferirlas entre diferentes modelos. Estas trazas, diseñadas para proteger los procesos internos de los sistemas de IA, contienen en realidad una gran cantidad de información que puede ser reutilizada para fines maliciosos. Al analizar sesiones públicas, los expertos encontraron docenas de passwords, claves de API y otros credenciales que habían sido inadvertidamente revelados por los modelos durante conversaciones normales.
El descubrimiento no solo pone de manifiesto una falla técnica, sino que también cuestiona la efectividad de las medidas de transparencia que las empresas de IA han prometido implementar. Las resumaciones de razonamiento que los usuarios ven en interfaces como ChatGPT están diseñadas para ofrecer una ventana al proceso de toma de decisiones de la IA, pero el estudio sugiere que a menudo ocultan más de lo que revelan. En lugar de mostrar el flujo completo de tokens y decisiones, los modelos presentan una versión simplificada que puede ser manipulada para ocultar la lógica subyacente, lo que dificulta aún más la auditoría independiente y la rendición de cuentas.
Desde el punto de vista regulatorio, este tipo de vulnerabilidades podría considerarse una infracción de normativas emergentes sobre protección de datos y transparencia de la IA. En la Unión Europea, el borrador del AI Act exige evaluaciones de riesgo y auditorías transparentes para sistemas de alto impacto, mientras que en Estados Unidos se debate la creación de estándares similares para las APIs de modelos fundacionales. Si las APIs son capaces de filtrar credenciales y razonamiento interno, es probable que las autoridades las clasifiquen como servicios de alto riesgo, lo que obligaría a los proveedores a realizar pruebas de penetración más rigurosas y a ofrecer documentación técnica más detallada.
Para los usuarios, el impacto es inmediato. La exposición de passwords y claves de API significa que actores maliciosos podrían obtener acceso no autorizado a servicios, plataformas de desarrollo y hasta a infraestructura crítica. Los investigadores advierten que, dado el carácter público de muchas sesiones de chat, es posible que ya se hayan producido filtraciones de credenciales antes de que la vulnerabilidad fuera parcheada. Se recomienda a los desarrolladores cambiar todas las claves que puedan haber sido expuestas y habilitar la autenticación multifactor en los servicios que utilicen tokens generados por IA.
Desde el punto de vista de la industria, las empresas de IA enfrentan un dilema: por un lado, necesitan mantener la propiedad intelectual y los secretos comerciales detrás de sus modelos; por otro, deben ofrecer suficiente transparencia para cumplir con las expectativas de los reguladores y la sociedad. El hallazgo sugiere que las actuales estrategias de encriptación de trazas de razonamiento son insuficientes. Los expertos proponen la implementación de mecanismos de encriptación de extremo a extremo combinados con auditorías externas independientes, así como el uso de tokenización dinámica que revoque automáticamente las claves una vez que se detecte un uso indebido.
En resumen, el estudio no solo revela una falla técnica en las APIs de importantes proveedores de IA, sino que también pone de relieve un problema sistémico: el equilibrio entre el secreto comercial y la seguridad pública. A medida que la IA se integra en más aspectos de la vida cotidiana, la comunidad tecnológica y los reguladores deberán colaborar para establecer estándares que protejan los datos sin sofocar la innovación. La próxima fase del debate probablemente incluirá auditorías obligatorias, informes de transparencia más detallados y, posiblemente, la creación de un marco de certificación de seguridad para las APIs de modelos de lenguaje. Mientras tanto, los usuarios deben permanecer vigilantes y adoptar prácticas de seguridad robustas para mitigar los riesgos que surgen de esta nueva superficie de ataque.
El artículo original, titulado "But marinade" and leaked passwords are what researchers found in ChatGPT's hidden reasoning, apareció por primera vez en The Decoder y ha generado un amplio debate sobre el futuro de la seguridad en las APIs de IA.
