La seguridad de los sistemas de IA cobra cada vez mayor importancia a medida que se implementan. En este contexto, el NIST (Instituto Nacional de Estándares y Tecnología) del Departamento de Comercio de EE. UU. está haciendo su parte al presentar Una herramienta de código abierto llamada Dioptra y documentación“Probar los efectos de los ataques adversarios en los modelos de aprendizaje automático es uno de los objetivos de Dioptra”, dijo el NIST en un comunicado, y agregó que “el software está destinado a ayudar a los desarrolladores y clientes de IA a aprender cómo su aplicación de IA puede resistir diferentes ataques”. La solución, descargable gratuitamente“También puede ayudar a los desarrolladores de sistemas de IA a cuantificar la pérdida de rendimiento de un modelo y, por lo tanto, saber con qué frecuencia y en qué circunstancias fallaría el sistema”, explicó la organización. El lanzamiento de Dioptra responde a la orden ejecutiva de 2023 del presidente Biden que solicita al NIST que ayude en las pruebas de modelos.

Además de esta solución y en línea con la orden, el NIST también ha publicado varios documentos destinados a promover la seguridad y los estándares de la IA. Uno de estos documentos, titulado “Manejo del riesgo de uso indebido de los modelos de base de doble uso”, es la primera versión pública de las pautas para desarrollar modelos de base. El documento describe las prácticas que los desarrolladores pueden adoptar al diseñar y construir su modelo para evitar que se utilice indebidamente para dañar deliberadamente a las personas, la seguridad pública y la seguridad nacional. El borrador propone siete enfoques clave para mitigar los riesgos del uso indebido de los modelos, junto con recomendaciones sobre cómo implementarlos y ser transparente al respecto. “En conjunto, estas prácticas pueden ayudar a evitar que los modelos causen daño a través de actividades como el desarrollo de armas biológicas, la realización de operaciones cibernéticas ofensivas y la producción de material de abuso sexual infantil e imágenes íntimas sin consentimiento”, dijo el NIST, y agregó que está aceptando comentarios sobre el borrador hasta el 9 de septiembre.

Apéndices sobre la seguridad de la IA generativa

Los otros lanzamientos incluyen dos pautas del NIST, llamadas AI Risk Management Framework (AI RMF) y Secure Software Development Framework (SSDF), que servirán como recursos complementarios para la gestión de riesgos de IA y el desarrollo de software seguro y están destinados a ayudar a los desarrolladores a gestionar los riesgos de la IA generativa. Uno de los dos documentos, llamado AI RMF Generative AI Profile, proporciona una lista de 12 riesgos tentativos relacionados con la IA generativa y ofrece a los desarrolladores casi 200 pasos para abordarlos. Estos riesgos incluyen un acceso más fácil a ataques de ciberseguridad, la producción de información errónea y desinformación, discursos de odio y otros contenidos dañinos y alucinaciones de sistemas de IA generativa. “La segunda directriz, llamada Prácticas de desarrollo de software seguro para modelos de base de IA generativa y de doble uso, es complementaria al Marco de desarrollo de software seguro (SSDF)”, dijo la agencia. “Si bien el SSDF generalmente aborda las prácticas de codificación de software, el documento complementario amplía el SSDF en parte para abordar el problema de un modelo comprometido por datos de entrenamiento maliciosos que afectan negativamente el rendimiento del sistema de IA”, explicó el NIST.

Como parte de su plan para garantizar la seguridad de la IA, el NIST también ha propuesto una iniciativa independiente que permite a las partes interesadas de Estados Unidos colaborar con otros países para desarrollar estándares de IA. En noviembre del año pasado, China y Estados Unidos acordaron colaborar con al menos otros 25 países para mitigar los riesgos asociados con el avance de la IA. Los dos países, junto con varios otros, entre ellos la UE, India, Alemania y Francia, firmaron un acuerdo, llamado Declaración de Bletchley, en la Cumbre de Seguridad de la IA del Reino Unido en noviembre de 2023 para establecer un rumbo común para supervisar la evolución de la IA y garantizar que la tecnología avance de manera segura.