en un investigación realizado a finales de mayo por Malwarebytes en el que el proveedor californiano de soluciones de ciberseguridad recogió un total de 1.449 respuestas del 29 al 31 de mayo de 2023, el 81% de los encuestados (lectores de sus newsletters) dicen estar preocupados por los riesgos de seguridad que plantea ChatGPT y la IA generativa. Además, el 51% de ellos se pregunta si las herramientas de IA pueden mejorar la seguridad en Internet y el 63% desconfía de la información proporcionada por ChatGPT. Además, el 52% de los encuestados quiere una pausa en los desarrollos de ChatGPT mientras se implementan las regulaciones. Sólo el 7% está de acuerdo en que ChatGPT y otras herramientas de inteligencia artificial pueden mejorar la seguridad en Internet.
En marzo, un gran número de personalidades del mundo de la tecnología firmó una carta pedir a todos los laboratorios de IA que dejen de entrenar inmediatamente sistemas de IA más potentes que GPT-4 durante al menos seis meses mientras "desarrollan e implementan conjuntamente un conjunto de protocolos de seguridad común para el diseño y desarrollo de IA avanzada, que están rigurosamente controlados y supervisados". por expertos externos independientes. El informe cita "profundos riesgos" que plantean "los sistemas de inteligencia artificial con inteligencia que pueden competir con la inteligencia humana".
La información de los LLM no siempre es confiable
Los posibles riesgos de seguridad del uso de IA generativa por parte de las empresas están bien documentados, al igual que el conocido impacto de las vulnerabilidades en las aplicaciones de modelo de lenguaje grande (LLM) que utilizan. Además, los actores malintencionados pueden utilizar IA/LLM generativa para mejorar sus ataques. Aun así, ciertos casos de uso de la tecnología pueden mejorar la ciberseguridad, la detección y respuesta a amenazas, una tendencia predominante en el mercado de la ciberseguridad, en la que los proveedores aprovechan la IA generativa y los LLM para crear productos mejores, más rápidos y más concisos.
En la encuesta de Malwarebytes, sólo el 12% de los encuestados estuvo de acuerdo con la afirmación "La información producida por ChatGPT es precisa", y el 55% "en desacuerdo", lo que representa una brecha importante. dependiendo del proveedor. Además, sólo el 10% de los encuestados estuvo de acuerdo con la afirmación "Confío en la información producida por ChatGPT". Una de las principales preocupaciones sobre los datos producidos por las plataformas de IA generativa es el riesgo de "alucinaciones" al que están expuestos los modelos de aprendizaje automático.
Un riesgo de reforzar la credibilidad de un falso positivo
De hecho, la IA generativa puede crear URL, referencias e incluso bibliotecas de códigos y funciones que no tienen existencia real. Lo cual se convierte en un grave problema para las empresas si su contenido se utiliza mucho para tomar decisiones, especialmente aquellas relacionadas con la detección y respuesta a amenazas. "Los LLM son conocidos por inventar cosas", dijo Rik Turner, analista principal de ciberseguridad de Omdia. “Si la IA dice algo y un analista puede identificarlo fácilmente como tal, puede deshacerlo y ayudar a entrenar mejor el algoritmo. Pero, ¿y si la alucinación es muy plausible y se parece a la realidad? En otras palabras, ¿podría el LLM reforzar la credibilidad de un falso positivo, con consecuencias potencialmente desastrosas si, con base en estos datos, el analista decide poner fuera de servicio un sistema o bloquear la cuenta? un cliente durante varias horas? “, preguntó.
Otras noticias que te pueden interesar