El 5 de septiembre, Veolia reveló a sus equipos el fruto de sus primeros esfuerzos en IA generativa: una aplicación llamada Veolia Secure GPT. Objetivo declarado: poner estas tecnologías en manos de todos los empleados -aunque por el momento el acceso esté limitado a los 5.000 empleados de la sede central- para probar los usos más prometedores, sin correr el riesgo de perder el control de los datos confidenciales.
La aplicación web, desarrollada con diseño responsive, está alojada en GCP, la nube de Google, y envía solicitudes a Azure OpenAI, que aloja los modelos GPT 3.5 y GPT 4.0 utilizados por la multinacional con 220.000 empleados. Un enfoque muy clásico hasta ahora. Excepto que se enriquece con el uso de otro motor LLM de OpenAI (text-embedding-ada), que permite almacenar los datos cargados por un usuario en forma vectorial. "Esto nos permite ofrecer inmediatamente dos servicios", explica Fouad Maach, arquitecto jefe y responsable de industrialización del departamento de TI del Grupo Veolia. Además de la interfaz conversacional, ofrecemos un segundo servicio que permite a los empleados descargar uno o más documentos PDF y luego consultarlos con GPT 3.5 o 4.0. »
Evitar el desarrollo de usos no regulados
La aplicación, que el departamento TI de Veolia prevé extender a todos los empleados del grupo a finales de año, se desarrolló en un tiempo récord en el framework LangChain, que permite consultar varios motores LLM. Los desarrollos comenzaron en junio y dieron origen a una versión beta en julio. “Tomamos esta decisión porque nos dimos cuenta de que los usos de la IA generativa convencional estaban creciendo rápidamente dentro de nuestra organización. Por lo tanto, hemos publicado directrices para prohibir estos servicios que presentan un riesgo de filtración de datos. Pero, al mismo tiempo, necesitábamos implementar una alternativa”, afirma Fouad Maach.
De ahí la elección de un chat basado en modelos OpenAI sin ninguna personalización particular, que permita a los empleados del grupo familiarizarse con las indicaciones de escritura... y desconfiar de las respuestas de la IA generativa. Y el de un enfoque llamado RAG (por recuperación-generación aumentada) que consiste en mejorar las respuestas de los LLM proporcionándoles fuentes adicionales de conocimiento. PDF en el caso de Veolia. “Esto permite reducir la tasa de alucinaciones (esas respuestas que inventa la IA generativa, nota del editor) a casi nada”, asegura el arquitecto jefe, basándose en pruebas realizadas en el laboratorio y con 80 primeros usuarios. .
Identificar los casos de uso más prometedores
Los dos servicios integrados en Veolia Secure GPT deberían servir como prueba, y el departamento informático del grupo ya está considerando un tercer servicio que debería basarse en datos persistentes (por el momento, los extraídos de archivos PDF son efímeros) y un LLM personalizado. Sobre todo, esta rápida incursión en el mundo del LLM permite al departamento de TI mantener el control de la tecnología, imponiendo autenticación interna y obteniendo, tanto de OpenAI como de Microsoft, garantías técnicas y contractuales de que los datos no se utilizarán para no hacerlo. modelos de trenes para otros usos.
"Los primeros comentarios de los usuarios son positivos y la aplicación está funcionando", nos dice Fouad Maach. Pero todavía es un poco pronto para identificar los casos de uso más prometedores. » Lograr esta clasificación es, sin embargo, uno de los objetivos del DSI. “Las preguntas quedan grabadas, lo que permitirá clasificar usos para establecer prioridades en futuros desarrollos. » Lo que también explica la decisión de Veolia de abrir los usos de la IA generativa a todos los empleados. "Dependiendo de los usos destacados, favoreceremos un enfoque RAG o un modelo personalizado de nuestros datos", indica Fouad Maach. Mi predicción es que el RAG se mantendrá en la mayoría de los casos, porque el uso de modelos personalizados implica mayores inversiones. Estos modelos hay que entrenarlos, mantenerlos en el tiempo, etc.»
La publicación de esta aplicación, financiada por el momento por el departamento informático del grupo (las filiales serán facturadas nuevamente en función del uso cuando se les abra el acceso), parece ser la primera realización de un documento de posición, publicado por el departamento informático de Veolia, bajo la dirección de su CTO, Julien Largillière, el pasado mes de mayo. Un documento cuyo objetivo era aclarar la posición de la organización sobre este tema emergente. Desde entonces, la multinacional también ha organizado sesiones de formación aceleradas en LLM, para que los usuarios de las profesiones se familiaricen con las indicaciones, pero también con los riesgos de estas herramientas.
Otras noticias que te pueden interesar