Con la cobertura mediática de los LLM, el aspecto de seguridad de los modelos de IA está pasando a un segundo plano. Para remediar esto, Google acaba de proponer un marco específico sobre este tema. Su nombre es SAIF, que significa marco seguro de IA y tiene como objetivo mitigar los riesgos específicos de la IA, como "el envenenamiento de datos, las inyecciones maliciosas y la extracción de información confidencial en los datos de entrenamiento".

Este lanzamiento se produce mientras los avances en la IA generativa y su impacto en la ciberseguridad siguen siendo noticia. Estos sistemas plantean preguntas que van desde los problemas de compartir información comercial confidencial con algoritmos avanzados de autoaprendizaje hasta actores maliciosos que los utilizan para mejorar significativamente los ataques. OWASP publicó recientemente las diez vulnerabilidades más críticas observadas en aplicaciones de modelos de lenguaje grande (LLM). Ejemplos de vulnerabilidades incluyen inyecciones rápidas, fugas de datos, zonas de pruebas inadecuadas y ejecución de código no autorizado.

Índice
  1. Un marco basado en seis principios de seguridad de la IA
  2. Apóyese en socios y otros repositorios

Un marco basado en seis principios de seguridad de la IA

Secure AI Framework (SAIF) de Google se basa en su experiencia en el desarrollo de modelos de ciberseguridad, incluido el marco colaborativo de cadena de suministro Levels for Software Artifacts (SLSA) y BeyondCorp, su arquitectura de confianza cero utilizada por muchas empresas. El SAIF se basa en los siguientes seis elementos fundamentales:

- Ampliar bases de seguridad sólidas al ecosistema de IA, aprovechando las protecciones de infraestructura seguras por defecto.

- Ampliar la detección y respuesta a amenazas (D&R) para integrar la IA en el panorama de amenazas de una organización para monitorear la entrada y salida de los sistemas de IA generativos para detectar anomalías de amenazas y utilizar inteligencia de amenazas para anticipar ataques.

- Automatizar las defensas para seguir el ritmo de las amenazas nuevas y existentes y responder de forma más amplia y rápida a los incidentes de seguridad.

- Alinear los controles a nivel de plataforma para garantizar una seguridad consistente, incluida la extensión de protecciones seguras por defecto a plataformas de IA como Vertex AI y Security AI Workbench, y la integración de controles y protecciones en la vida de desarrollo del software del ciclo de seguridad.

- Adaptar los controles para ajustar las medidas de mitigación y crear ciclos de retroalimentación más rápidos para la implementación de IA utilizando técnicas como el aprendizaje reforzado, basado en incidentes y comentarios de los usuarios.

- Contextualización de los riesgos del sistema de IA en los procesos comerciales circundantes, incluidas evaluaciones de riesgos comerciales de un extremo a otro, como el linaje de datos, la validación y el monitoreo del comportamiento operativo para ciertos tipos de aplicaciones.

Apóyese en socios y otros repositorios

Google ha tomado y tomará varias medidas para mejorar su marco. En particular, para atraer a la industria a apoyar a SAIF, la compañía ha anunciado varias asociaciones y contribuyentes clave en los próximos meses. También continúa su compromiso continuo con la industria para desarrollar el marco de gestión de riesgos de IA del NIST y el estándar del sistema de gestión de IA ISO/IEC 42001 (el primer estándar de certificación de IA de la industria). Google también trabajará directamente con empresas, incluidos clientes y gobiernos, para ayudarlas a comprender cómo evaluar y mitigar los riesgos de seguridad de la IA. "Esto incluye organizar talleres con expertos y publicar las mejores prácticas para implementar sistemas de inteligencia artificial de forma segura", dijo Google.

Además, la empresa compartirá conocimientos de equipos de inteligencia de amenazas como Mandiant y TAG sobre actividades cibernéticas que involucran sistemas de IA, al tiempo que ampliará sus programas de búsqueda de errores (incluido su programa de recompensas de vulnerabilidad) "para recompensar y fomentar la investigación sobre la seguridad de la IA". añadió la empresa. Por último, Google seguirá ofreciendo ofertas seguras de IA con socios como GitLab y Cohesity, y desarrollará nuevas capacidades para ayudar a los clientes a crear sistemas seguros.