Hugging Face, la plataforma de código abierto que reúne miles de modelos de inteligencia artificial desarrollados por la comunidad, se ha consolidado como uno de los repositorios más utilizados para la creación y el ajuste fino de modelos de generación de imágenes. Sin embargo, su naturaleza abierta también ha revelado una vulnerabilidad crítica: la mayoría de los modelos de edición de imagen disponibles en la plataforma no incluyen filtros que impidan la generación de deepfakes no consensuales. Un estudio reciente realizado por la organización sin ánimo de lucro AI Forensics demostró que siete de los nueve modelos de edición de imagen más populares en Hugging Face responden a prompts que solicitan desnudar a mujeres o niños, lo que evidencia la ausencia de protección básica en estos algoritmos. La empresa ha recibido críticas internacionales por no tomar medidas concretas para proteger a los usuarios, y la comunidad de investigadores ha pedido públicamente una revisión de sus políticas de moderación.
El informe de AI Forensics, basado en pruebas realizadas en 2024, analizó diez modelos de edición de imagen alojados en Hugging Face y constató que siete de ellos ejecutan sin restricciones la orden de “desnudar a una mujer” o “desnudar a un niño” cuando se les solicita mediante un prompt sencillo. Esta falta de barrera de seguridad contrasta de forma marcada con los modelos de empresas como Google o OpenAI, que incorporan sistemas de moderación de contenido y bloquean automáticamente este tipo de solicitudes, protegiendo así la privacidad de los usuarios.
La facilidad con la que estos modelos pueden ser manipulados plantea riesgos graves para la privacidad y la dignidad de las personas, especialmente de mujeres y menores, quienes pueden convertirse en objetivo de campañas de difamación o extorsión. Además, la proliferación de deepfakes no consensuales alimenta la desconfianza general hacia la IA, dificulta la adopción responsable de tecnologías emergentes y complica los esfuerzos por establecer marcos regulatorios efectivos. La facilidad con la que cualquier persona puede acceder a estas herramientas sin restricciones intensifica la urgencia de abordar el problema.
Los expertos coinciden en que la falta de regulación clara y de responsabilidad en las plataformas de IA de código abierto es una de las causas principales del problema. Mientras algunos defensores abogan por una regulación europea similar a la propuesta en el AI Act, otros señalan que la comunidad de desarrolladores debe implementar mecanismos de filtrado y auditoría de forma voluntaria para evitar abusos. En la Unión Europea, la propuesta de AI Act busca crear un marco normativo que clasifique los sistemas de IA según su nivel de riesgo, pero su aplicación a plataformas como Hugging Face aún está en discusión. La falta de estandarización y la ausencia de obligaciones legales específicas hacen que la autorregulación sea la única vía viable por ahora.
Para mitigar estos riesgos, es necesario que Hugging Face implemente controles más estrictos en sus modelos, publique fichas técnicas que describan los límites de cada modelo y facilite canales de denuncia para usuarios que detecten abusos. Asimismo, desarrolladores y investigadores deben colaborar en la creación de herramientas de detección de deepfakes y en la promoción de prácticas éticas que protejan la dignidad humana. La transparencia en la documentación, la auditoría independiente y la creación de canales de denuncia son pasos esenciales para garantizar que la IA se use para generar valor y no para vulnerar derechos humanos.
