¿La nueva fuente de fallas cibernéticas? Obviamente, como cualquier aplicación nueva, los servicios de IA aumentan la superficie de ataque. Pero, más allá de esta generalidad, es necesario observar la naturaleza misma de los modelos, en su naturaleza no determinista y la opacidad de los métodos de entrenamiento que permitieron desarrollarlos. Tantas características de riesgos específicos.

Como Odile Duthil, director de ciberseguridad del grupo Caisse des Dépôts subraya, ciertas herramientas de protección obviamente siguen siendo relevantes. Como la gestión de las identidades, controlar el acceso a los servicios de tercera parte o como prevención de fugas de datos (DLP). Lo mismo ocurre con ciertas buenas prácticas, como la clasificación de datos, permite supervisar los usos. "Para las primeras pruebas de IA generativas, a medida que los datos salen afuera, solo hemos autorizado usos en datos públicos", dijo el gerente.

Mira nuestro programa Grand Théma sobre la seguridad del Genai (Video, 53 min)

Desde entonces, dentro del Caisse des Dépôts, los usos se han extendido en gran medida, fortaleciendo el desafío de asegurar la IA generativa. El establecimiento ha multiplicado notablemente los controles, al muestrear en particular, para validar la calidad de las respuestas. "Los humanos son la mejor protección", dice Odile Duthil, quien destaca la importancia de la conciencia de los colaboradores. El hecho es que las herramientas cibernéticas no están del todo en el nivel. "Nos gustaría hacer pruebas de penetración en AI, pero obviamente no puede ser pruebas clásicas. Sobre este tema, tenemos aún más preguntas hoy que las respuestas", dijo la política de seguridad Caisse des Dépôts, quien especifica que el grupo reflexiona sobre la redacción de una política de seguridad de SI (PSSS) dedicada a AI. Un poco en el modelo de nube PSSI que el establecimiento público ya tiene.

Alucinación: "Terrible" para la imagen de un banco

Dentro del Grupo Crédit Agricole, el enfoque intelectual es bastante similar. Aquí nuevamente, con una estrategia de adopción controlada, que combina la experimentación de usos, para extraer los escenarios más prometedores y el análisis de riesgos. "Este no es un tema nuevo porque estos riesgos han existido ya que tenemos sistemas de producción basados ​​en la IA", dice Aldrick Zappellini, el CDO del grupo bancario. Este último subraya así el trabajo de Crédit Agricole en los ataques opuestos. El grupo ha enriquecido esta Ley existente en base a la Ley de AI, la regulación europea sobre el tema, "al variar el marco normativo para el Grupo A Taxonomía de riesgos, pero también al asociar las principales palancas de detección y atenuación de riesgos".

Aldrick Zappellini, CDO del Grupo Crédit Agricole: "Estamos tratando de evaluar cómo estos nuevos riesgos deben ser administrados por los equipos cibernéticos".

Más allá de las alucinaciones: "que sería terrible en términos de imagen para un banco", los riesgos específicos de IA generativo también incluyen contenido inapropiado, exfiltraciones de datos, a través de indicaciones maliciosas, sin olvidar ataques cibernéticos especializados, como inyección rápida. "Estamos tratando de evaluar cómo estos nuevos riesgos deben ser manejados por los equipos cibernéticos y las nuevas habilidades que deben adquirir para hacer esto", dice Aldrick Zappellini, quien también cita la necesidad de establecer pruebas de penetración específicamente pensadas para IA.

Monitorear la IA

Alrededor de sus aplicaciones de IA, Crédit Agricole comenzó a desplegar líneas de defensa, "en plural", subraya el CDO. "Por ejemplo, nos enfrentamos muy temprano con ataques opuestos, debido a los muchos documentos de apoyo que nuestros procesos exigen", dijo el CDO. Lo que indica que el trabajo se llevó a cabo, durante la fase de aprendizaje, para hacer que los sistemas sean más robustos para este tipo de ataque. "Sin olvidar monitorear los volúmenes, un aumento repentino de estos para ser considerados sospechosos y conducir a contramedidas para evitar repercusiones en los procesos", dice el CDO.

Mira nuestro programa Grand Théma sobre la seguridad del Genai (Video, 53 min)

Para Aldrick Zappelini, la trilla que rodea el Genai es en sí mismo un riesgo adicional: "El incendio de los proyectores en torno a ChatGPT ha vuelto a colocar a la AI en el escenario, pero ha producido una demanda tecnológica centrada en nuestras profesiones. Lo que presenta un riesgo. Debido a que el LLM no es necesariamente la respuesta más adecuada a todas las necesidades expresadas. El CDO dijo por lo tanto, por lo tanto, durante el riesgo, durante el frases, por lo tanto, durante la fallados, por lo que los fallos, por lo que se relacionan, los fallos, por lo tanto, los fallos, por lo tanto, se relacionan con la fallados, durante el CDO. Costos, rendimiento, riesgos, impacto ambiental, mantenimiento, explicación, etc. "Es una fase clave para evitar ser limitado a los prototipos que no pueden aclarar", dijo el CDO. »»

"Vulnerabilidades específicas e intrínsecas"

Los nuevos ataques inaugurados por AI son objeto de investigación aplicada en Thalès, una defensa industrial y aeroespacial que tiene inteligencia artificial en muchos de sus sistemas. "Nuestro equipo está compuesto por especialistas en IA e investigadores de ciberseguridad que, juntos, desarrollan una experiencia en seguridad de IA", explica Katarzyna Kapuska, piloto del equipo de piratas informáticos éticos del Laboratorio Cortaix, el nuevo Laboratorio de Investigación de Thales sobre inteligencia artificial. En beneficio de los equipos industriales del industrial que se desarrollan en la placa IA, por supuesto, pero también de la comunidad de investigación. "Proporcionamos parte de nuestras herramientas", confirma Katarzyna Kapuska.

Katarzyna Kapuska, piloto del equipo de piratas informáticos éticos de Cortaix Lab de Thalès: "Las técnicas desapropiadas hacen posible que el modelo se olvide parte de los datos".

"La IA tiene vulnerabilidades específicas e intrínsecas que los atacantes pueden explotar para cuestionar la integridad o confidencialidad de un sistema", dijo el investigador de inmediato. Por ejemplo, modificando los datos de entrenamiento para envenenar los modelos o atacarlos para que dejen datos de su entrenamiento. "Podemos hablar de filtraciones indirectas. Estamos trabajando en desfiles, especialmente durante las fases de aprendizaje, por ejemplo, al sonar información. Incluso si hay un compromiso entre la confidencialidad solicitada y la efectividad del modelo", explica Katarzyna Kapuska. "También tenemos técnicas de desaprendizaje para que el modelo olvide una parte de los datos", agrega el piloto del equipo de hackers éticos, que ganaron precisamente en 2023 un desafío organizado por la DGA que consiste en evitar estas técnicas. "Pero eso no significa que estos sean ineficaces", dice el investigador.

Volar un modelo por ingeniería inversa

Este último aún resalta un riesgo a menudo ignorado por la mayoría de las organizaciones: robo de modelos, incluso cuando este último solo es accesible para el asaltante en forma de una caja negra. "Un asaltante puede usar este acceso para etiquetar sus datos en el modelo objetivo y entrenar su propia IA, que será una copia que se acercará al original", señala el investigador. La defensa luego pasa por filtros asociados con la interfaz. Pero también por filigranos fijados al modelo, pasando por el marcado de pesas o mediante la programación de comportamientos específicos. Precisamente una de las especialidades de Thales.

Mira nuestro programa Grand Théma sobre la seguridad del Genai (Video, 53 min)