Las 'alucinaciones' de la IA pueden convertirse en una pesadilla para la seguridad empresarial

Investigadores de una empresa de seguridad israelí revelaron el martes cómo los piratas informáticos podrían convertir las "alucinaciones" de una IA generativa en una pesadilla para la cadena de suministro de software de una organización.

En una publicación de blog en el sitio web Vulcan Cyber, los investigadores Bar Lanyado, Ortel Keizman y Yair Divinsky ilustraron cómo se podría explotar información falsa generada por ChatGPT sobre paquetes de software de código abierto para entregar código malicioso en un entorno de desarrollo.

Explicaron que habían visto a ChatGPT generar URL, referencias e incluso bibliotecas de códigos y funciones que en realidad no existen.

Si ChatGPT está fabricando bibliotecas de códigos o paquetes, los atacantes podrían usar estas alucinaciones para difundir paquetes maliciosos sin utilizar técnicas sospechosas y ya detectables como typosquatting o enmascaramiento, señalaron.

Si un atacante puede crear un paquete para reemplazar los paquetes "falsos" recomendados por ChatGPT, continuaron los investigadores, podría lograr que una víctima lo descargue y lo use.

La probabilidad de que ocurra ese escenario está aumentando, sostuvieron, a medida que más y más desarrolladores migran de dominios de búsqueda en línea tradicionales para soluciones de código, como Stack Overflow, a soluciones de inteligencia artificial, como ChatGPT.

Ya generando paquetes maliciosos

"Los autores predicen que a medida que la IA generativa se vuelva más popular, comenzará a recibir preguntas de los desarrolladores que antes se dirigían a Stack Overflow", explicó Daniel Kennedy, director de investigación de seguridad de la información y redes de 451 Research, que forma parte de S&P Global Market. Intelligence, una empresa de investigación de mercado global.

"Las respuestas a esas preguntas generadas por la IA pueden no ser correctas o pueden referirse a paquetes que ya no existieron o nunca existieron", dijo a TechNewsWorld. "Un mal actor que observe eso puede crear un paquete de código con ese nombre para incluir código malicioso y que la herramienta de IA generativa lo recomiende continuamente a los desarrolladores".

"Los investigadores de Vulcan llevaron esto un paso más allá al priorizar las preguntas más frecuentes sobre Stack Overflow como las que le harían a la IA, y ver dónde se recomendaban paquetes que no existen", agregó.

Según los investigadores, consultaron Stack Overflow para obtener las preguntas más comunes sobre más de 40 temas y utilizaron las primeras 100 preguntas para cada tema.

Luego, le hicieron a ChatGPT, a través de su API, todas las preguntas que habían recopilado. Utilizaron la API para replicar el enfoque de un atacante para obtener tantas recomendaciones de paquetes inexistentes como fuera posible en el menor tiempo.

En cada respuesta, buscaron un patrón en el comando de instalación del paquete y extrajeron el paquete recomendado. Luego comprobaron si existía el paquete recomendado. Si no era así, intentaban publicarlo ellos mismos.

Software de Kludging

Ya se han detectado paquetes maliciosos generados con código de ChatGPT en los instaladores de paquetes PyPI y npm, señaló Henrik Plate, investigador de seguridad de Endor Labs, una empresa de gestión de dependencias en Palo Alto, California.

“Los grandes modelos de lenguaje también pueden ayudar a los atacantes a crear variantes de malware que implementan la misma lógica pero tienen diferentes formas y estructuras, por ejemplo, distribuyendo código malicioso entre diferentes funciones, cambiando identificadores, generando comentarios falsos y códigos muertos o técnicas comparables. ", dijo a TechNewsWorld.

El problema con el software hoy en día es que no está escrito de forma independiente, observó Ira Winkler, director de seguridad de la información de CYE, un fabricante global de plataformas de optimización de la ciberseguridad.

"Básicamente está elaborado a partir de una gran cantidad de software que ya existe", dijo a TechNewsWorld. "Esto es muy eficiente, por lo que un desarrollador no tiene que escribir una función común desde cero".

Sin embargo, eso puede dar lugar a que los desarrolladores importen código sin examinarlo adecuadamente.

"Los usuarios de ChatGPT están recibiendo instrucciones para instalar paquetes de software de código abierto que pueden instalar un paquete malicioso pensando que es legítimo", dijo Jossef Harush, jefe de seguridad de la cadena de suministro de software en Checkmarx, una empresa de seguridad de aplicaciones en Tel Aviv, Israel.

“En términos generales”, dijo a TechNewsWorld, “la cultura de copiar, pegar y ejecutar es peligrosa. Hacerlo a ciegas desde fuentes como ChatGPT puede provocar ataques a la cadena de suministro, como demostró el equipo de investigación de Vulcan”.

Conozca las fuentes de su código

Melissa Bischoping, directora de investigación de seguridad de terminales en Tanium, un proveedor de gestión convergente de terminales en Kirkland, Washington, también advirtió sobre el uso impreciso de código de terceros.

"Nunca debes descargar y ejecutar código que no entiendes y que no has probado simplemente tomándolo de una fuente aleatoria, como repositorios de código abierto de GitHub o ahora recomendaciones de ChatGPT", dijo a TechNewsWorld.

"Se debe evaluar la seguridad de cualquier código que desee ejecutar y debe tener copias privadas del mismo", aconsejó. "No importe directamente desde repositorios públicos, como los utilizados en el ataque a Vulcan".

Añadió que atacar una cadena de suministro a través de bibliotecas de terceros compartidas o importadas no es novedoso.

"El uso de esta estrategia continuará", advirtió, "y la mejor defensa es emplear prácticas de codificación segura y probar y revisar minuciosamente el código (especialmente el código desarrollado por un tercero) destinado a su uso en entornos de producción".

"No confíes ciegamente en cada biblioteca o paquete que encuentres en Internet o en un chat con una IA", advirtió.

Conozca el origen de su código, agregó Dan Lorenc, director ejecutivo y cofundador de Chaingard, un fabricante de soluciones de seguridad de la cadena de suministro de software en Seattle.

"La autenticidad del desarrollador, verificada a través de paquetes y compromisos firmados, y la obtención de artefactos de código abierto de una fuente o proveedor en el que pueda confiar son los únicos mecanismos reales de prevención a largo plazo de estos ataques estilo Sybil en código abierto", dijo a TechNewsWorld.

Entradas tempranas

Sin embargo, autenticar el código no siempre es fácil, señaló Bud Broomhead, director ejecutivo de Viakoo, un desarrollador de soluciones de software de seguridad física y cibernética en Mountain View, California.

"En muchos tipos de activos digitales, y en los dispositivos IoT/OT en particular, el firmware aún carece de firma digital u otras formas de establecer confianza, lo que hace posibles los exploits", dijo a TechNewsWorld.

“Estamos en las primeras etapas del uso de la IA generativa tanto para el ciberataque como para la defensa. Gracias a Vulcan y otras organizaciones que están detectando y alertando sobre nuevas amenazas a tiempo para que los modelos de aprendizaje de idiomas se ajusten para prevenir esta forma de explotación”, añadió.

“Recuerden”, continuó, “hace sólo unos meses pude pedirle a Chat GPT que creara una nueva pieza de malware, y lo haría. Ahora se necesita una guía muy específica y dirigida para crearlo sin darse cuenta. Y es de esperar que los motores de IA impidan pronto incluso ese enfoque”.