Proveedores de modelos de idiomas grandes (LLM) Opadai Y Anthrope ha firmado acuerdos individuales con el Instituto Americano de Seguridad del AI (Instituto de Seguridad de AI de EE. UU.) Adjunto al NIST (Instituto Nacional de Normas y Tecnología del Ministerio de Comercio Americano. Objetivo: colaborar en la investigación sobre la seguridad de IA, que incluye pruebas y evaluaciones. Como parte de estos acuerdos, las dos compañías compartirán sus últimos modelos con el Instituto antes de que se pongan a disposición de los controles públicos. colaboraciones con antrópico y OpenAi para avanzar en la ciencia de la seguridad de la IA ", dijo Elizabeth Kelly, directora del American Safety Institute, en un comunicado de prensa.

Los acuerdos proporcionan investigación colaborativa sobre cómo evaluar las capacidades y riesgos para la seguridad, así como sobre los métodos para mitigar estos riesgos. Estos acuerdos tienen lugar Casi un año después de que el presidente de los Estados Unidos, Joe Biden, adoptara un decreto Con el objetivo de establecer una serie completa de estándares, medidas de protección de seguridad y privacidad y medidas de monitoreo para el desarrollo y uso de inteligencia artificial. A principios de julio, el NIST publicado en software libre llamado Dioptra Disponible en Github Para que los desarrolladores determinen el tipo de ataques que harían que un modelo de inteligencia artificial sea menos eficiente. Además de Dioptra, el NIST también ha publicado varios documentos destinados a promover la seguridad y los estándares en la IA, de acuerdo con el decreto. Estos documentos incluyen la primera versión de sus directrices para el desarrollo de modelos básicos, titulado Gestión del riesgo de uso indebido de modelos de base de doble uso y dos documentos de orientación que servirán como recursos adicionales para el Marco de Gestión de Riesgos de AI (Ai RMF) y el desarrollo del desarrollo de software seguro (SSDF) NIST, destinado a ayudar a los desarrolladores a administrar los riesgos del Genai.

Un enfoque de seguridad de diapason en el Reino Unido

Los acuerdos con los proveedores de LLM también incluyen una cláusula que permitirá al Instituto de Seguridad de los Estados Unidos proporcionar el retorno de información a las dos compañías sobre las posibles mejoras a sus modelos en términos de seguridad, en colaboración con sus socios del Instituto de Seguridad del Reino Unido del Reino Unido. A principios de abril, Estados Unidos y el Reino Unido firmaron un acuerdo para probar el LLM de seguridad que subyace a los sistemas de IA. El acuerdo, o memorando de comprensión, fue firmado en Washington por Gina Raimondo, Secretaria de Comercio de los Estados Unidos, y Michelle Donelan, Secretaria de Tecnología del Reino Unido, y la colaboración entre los Institutos de Seguridad de IA sigue directamente de este Acuerdo.

Los acuerdos firmados por OpenAi y Anthrope están involucrados cuando El proyecto de ley californiano sobre la seguridad de la inteligencia artificial entra en su fase final de transformación en ley. Esto podría establecer la regulación más estricta del país en términos de IA y allanar el camino hacia otras personas similares en todo el país. El proyecto de ley, titulado "Ley de innovación segura y segura para la Ley de Modelos de Inteligencia Artificial Frontier" (SB 1047), ofrece pruebas rigurosas y medidas de responsabilidad para los desarrolladores de IA, en particular aquellos que crean modelos complejos y a gran escala. Si se adopta, el proyecto de ley obligará a las compañías de IA a probar la seguridad de sus sistemas antes de ponerlos a disposición del público. A principios de mes, el OpenAI se opuso al proyecto de ley durante al menos cinco días antes de comprometerse a apoyarlo la semana pasada.

El NIST también ha tomado otras medidas, en particular La capacitación de un grupo asesor sobre la seguridad de la IA en febrero pasadoque incluye creadores de IA, usuarios y académicos, para configurar salvaguardas para el uso y desarrollo de la IA. El Grupo Asesor, llamado Consorcio del Instituto de Seguridad de AI de EE. UU. (AISIC), fue responsable de desarrollar directrices sobre los sistemas de IA en el equipo restringido, la evaluación de la capacidad de IA, la gestión de riesgos, la garantía de seguridad y la marca de agua del contenido generado por la IA. Varias grandes compañías tecnológicas, incluidas OpenAi, Meta, Google, Microsoft, Amazon, Intel y Nvidia, se han unido al consorcio para garantizar el desarrollo seguro de IA.