Hugging Face permite generación no controlada de 'deepfakes' con contenido sexual y infantil
Hugging Face permite crear 'deepfakes' sin control, facilitando contenidos sexuales y infantiles. La falta de medidas plantea riesgos y desafíos regulatorios.
Un reciente informe revela que siete de los nueve modelos principales en el repositorio Hugging Face posibilitan la creación de imágenes íntimas sin restricciones. Hasta un 73% de las solicitudes analizadas buscaban desnudar a personas, con un 7% dirigidas a menores.
Hugging Face, plataforma de modelos de inteligencia artificial, no implementa medidas de seguridad que eviten este tipo de usos. La organización AI Forensics detectó que la mayoría de los modelos permiten solicitudes explícitas sin filtros, a diferencia de otros servicios cerrados como Google Gemini o ChatGPT.
La falta de controles en la plataforma facilita que usuarios malintencionados creen contenidos no consensuados, lo que plantea preocupaciones sobre la protección de mujeres y menores. La organización recomienda implementar filtros automáticos para prevenir abusos y material inapropiado.
El informe también señala que en los espacios públicos de Hugging Face donde se probaba la generación de imágenes, no se aplicaba ninguna moderación. Solo un 3% de las salidas de imágenes tenían algún tipo de filtro o control de contenido.
Desde un punto de vista regulatorio, la situación evidencia la necesidad de una normativa más estricta en el uso y gestión de modelos de inteligencia artificial en plataformas abiertas. La autorregulación de los desarrolladores resulta insuficiente para garantizar la protección de los derechos fundamentales.
En un contexto político donde se debate la regulación de la inteligencia artificial, este caso refuerza la urgencia de establecer marcos normativos claros. La futura legislación deberá incluir mecanismos de control y supervisión para plataformas abiertas y de código libre.