El compromiso de Microsoft, Meta, Google y OpenAI, junto con otras importantes empresas tecnológicas centradas en el desarrollo de herramientas de Inteligencia Artificial generativa, es combatir las imágenes de abuso sexual infantil (CSAM) derivadas del uso de esta tecnología y seguir una serie de medidas de seguridad por diseño.

En Estados Unidos, en 2023 se reportaron más de 104 millones de archivos sospechosos de contener CSAM, lo que plantea riesgos significativos para la seguridad infantil, según la organización Thorn, enfocada en la seguridad de los niños.

Amazon, Anthropic, Civitai, Google, Meta, Metaphysic, Microsoft, MistralAI, OpenAI, Stability AI y Teleperformance se han unido a Thorn y a All Tech is Human para impulsar una iniciativa que busca proteger a los menores de los posibles abusos de la IA.

Estas compañías tecnológicas han hecho público su compromiso con los principios de seguridad por diseño, con el objetivo de evitar la creación sencilla de este tipo de contenido abusivo generado por la IA.

Los cibercriminales utilizan la IA generativa para diversos propósitos, desde dificultar la identificación de las víctimas infantiles hasta fomentar la demanda de material relacionado con el abuso infantil y permitir la comunicación entre depredadores sexuales.

Las medidas de seguridad por diseño implican anticipar posibles amenazas durante el desarrollo de estas herramientas y diseñar soluciones de protección antes de que se produzca algún daño.

Una de las medidas clave es desarrollar, construir y entrenar modelos de IA generativa que aborden de manera proactiva los riesgos de seguridad infantil, evitando que reproduzcan contenido abusivo.

Otras acciones incluyen la implementación de marcas de agua en las imágenes generadas por IA y la publicación de modelos tras haber sido evaluados en términos de seguridad infantil.

Google ha destacado su compromiso con la seguridad en un blog, donde menciona el uso de herramientas tecnológicas para combatir el material CSAM, como tecnología de coincidencia de 'hash' y clasificadores de IA, además de revisiones humanas de contenido.

La empresa también utiliza aprendizaje automático para identificar búsquedas relacionadas con abusos y explotación sexual infantil y cuenta con un programa de alertas prioritarias en colaboración con expertos para identificar contenido potencialmente infractor.