Agregado al software Nemo BuardRail, Nvidia Presenta microservicios de inferencia (NIM) destinados a configurar salvaguardas para agentes de IA. En particular, pueden ayudar a las empresas a mejorar la precisión, la seguridad y el control de los agentes. Esta es una preocupación importante de los funcionarios de TI y un freno a la adopción de esta tecnología. "Hoy, una de cada diez compañías ya usa agentes de IA, y más del 80 % planea adoptarlos en los próximos tres años", dijo Kari Briski, vicepresidente de modelos, software y servicios corporativos en NVIDIA, durante una conferencia de prensa.
"Esto significa que los agentes no solo están construidos para la precisión de la tarea, sino que también deben ser evaluados para cumplir con los requisitos de seguridad, confidencialidad de datos y gobernanza, que pueden ser un obstáculo importante para el despliegue. Según el gerente, la cuestión del desempeño también es importante".
Detalles de los tres NIMS
Los tres NIM para las barandillas de Nemo presentados por NVIDIA están destinados a la seguridad del contenido, los controles de los sujetos y la detección de jailbreaks. El primero se centra en la seguridad de contenido para evitar que la IA genere resultados sesgados o dañinos, asegurando que las respuestas de IA cumplan con los estándares éticos. Fue entrenado en el conjunto de datos de seguridad de NVIDIA AEGIS, que incluye 35,000 muestras de datos anotadas y calificadas por un humano para la seguridad de la IA. Aegis se usa para enseñar a la IA cómo moderar el contenido potencialmente peligroso generado por otros modelos de IA.
El segundo microservicio vinculado al control del sujeto permite a los agentes de IA centrarse en los sujetos aprobados, evitando que se desvíen a contenido inapropiado. Puede, por ejemplo, evitar que un agente discuta un producto competidor. Finalmente, el módulo de detección de jailbreaks tiene el papel de preservar la integridad de la IA en "escenarios contradictorios" mediante la protección de los intentos de escape que evitan intencionalmente las medidas de protección de los agentes de IA. Fue diseñado desde Nvidia Garak, una caja de herramientas de código abierto para el análisis de vulnerabilidad, entrenada en un conjunto de 17,000 jailbreaks conocidos.
Salvaguardas basadas en SLM
Nemo GuardRails es parte de la plataforma Nemo Scalable que se utiliza para definir, orquestar y aplicar políticas en agentes y otras aplicaciones basadas en AI. "Las salvaguardas ayudan a mantener la credibilidad y la confiabilidad de las operaciones de IA mediante la aplicación de especificaciones para modelos de IA, agentes y sistemas, y supervisar a los agentes en la tarea que se supone que deben ejecutar", dijo Kari Briski. Por ejemplo, un fabricante de automóviles podría confiar en estos microservicios para crear un agente de IA que ayuda a los conductores a ajustar el aire acondicionado, los asientos, usar información y entretenimiento, navegación, etc., o incluso prohibir ciertos sujetos, por ejemplo, con respecto a las marcas competitivas o prevenir el intercambio de asesoramiento u opiniones.
Las barandillas NEMO se basan en pequeños modelos de lenguaje (modelo de lenguaje pequeño, SLM) que tienen una latencia más baja que LLM, lo que significa que pueden trabajar efectivamente en entornos limitados por recursos o en entornos distribuidos. La Sra. Briski señaló que los SML son perfectos para escalar aplicaciones de IA en sectores como la industria de la salud, el automóvil y la fabricación. Algunos CIO ya están recurriendo a SLM para soluciones específicas y como una alternativa a modelos de lenguaje grandes y genéricos (LLM).
Posible personalización
Incluso si es posible usar las barandillas Nemo en configuraciones predeterminadas, la Sra. Briski explica que su poder real radica en la personalización y la extensión de las salvaguardas. "El uso de varias salvaguardas personalizables es importante, porque la misma barandilla no se puede usar para todos los escenarios", dijo. “Las políticas y requisitos pueden variar según el caso de uso, las marcas, las directivas comerciales o incluso los requisitos reglamentarios basados en la industria y la geografía. Los desarrolladores quieren poder elegir las salvaguardas que sean adecuadas para sus necesidades específicas y los requisitos variables de los sistemas basados en agentes de IA ”, agregó.
El departamento de TI se convertirá en una especie de "agentes de recursos humanos", resumió a la Sra. Briski, lo que sugiere que es en esta área que estos microservicios serán los más útiles, ya que los desarrolladores podrán aplicar múltiples modelos de luz y especializados para cubrir brechas que pueden ocurrir en un marco donde se aplican más políticas generales y protecciones globales. Los diferentes microservicios, así como las barandillas de Nemo para Orquestación y Garak Toolbox, ya están disponibles para desarrolladores y empresas.
Otras noticias que te pueden interesar