"Ser capaz de ofrecer una forma de inteligencia sobre el contenido puede cambiar la situación en nuestros negocios donde toneladas de documentos se dispersan en todas partes". Martina Machet, directora de inteligencia de datos y productos del banco minorista en Francia General, señala inmediatamente las principales expectativas de los bancos y el seguro frente a la IA generativa. Por lo general, dentro de Société Générale como en otros establecimientos del sector, el acceso a la información no estructurada requiere una investigación convencional, devolviendo una gran cantidad de documentos que los usuarios deben explorar para encontrar información relevante. Un proceso tedioso que lleva mucho tiempo.

De ahí la idea del banco de colocar en manos de sus 20,000 empleados en Francia un asistente inteligente, combinando investigación en el corpus regulatorio y la generación de una respuesta, a través del Genai. La herramienta así desarrollada, llamada LACI (para el Asistente de contenido inteligente), realiza su investigación en una base de unos 10,000 documentos, identificando los párrafos relevantes para que el Genai genere una respuesta contextualizada, a través de un enfoque de trapo (recuperación aumentada de generación). En su interfaz, la herramienta conserva un enlace a documentos de origen y párrafos relevantes dentro de ellos. Laci también incorpora una función que permite a los usuarios evaluar la relevancia de las respuestas proporcionadas, una capacidad considerada esencial por los equipos de Société Générale de las fases aguas arriba del proyecto.

Un modelo exportable a otras operaciones

"Si logramos ahorrar solo 30 minutos, incluso 5 minutos, por día para cada uno de nuestros empleados, la ganancia será enorme, calcula a Martina Machet, quien se expresó durante la IA para las finanzas, un evento organizado el 17 de septiembre, en París. Este tipo de herramienta también facilita la integración de los nuevos empleados y mejora la satisfacción de los empleados, por lo tanto, por Ricochet, que de los clientes. "Poco a poco esperamos hacer una escala, integrando nuestras diversas subsidiarias", dice el gerente.

Como señala Kent Aquereburu, director de los datos y el laboratorio de IA de Société Générale, el modelo LACI también es adaptable a otros oficios grupales. “Simplemente establezca el enfoque RAG para un trabajo específico, con el vocabulario correcto y el corpus documental correcto. Ya, la herramienta se ha personalizado para lanzar un asistente dedicado a cuestiones legales e impuestos en términos de seguro.

En cada caso de uso su LLM?

Estas pruebas en varios corpus documental permitieron a Société Générale darse cuenta de que es ilusorio esperar ver a un LLM responder de manera efectiva a todos los casos de uso. "Hay muchos aspectos para verificar, para cada caso de uso y cada modelo: el costo, la relevancia de una opción de código abierto, la eficiencia de la estrategia de indicación, la necesidad de ajustar el modelo, el uso de un modelo pequeño, etc.", Kent Aquereburu toma. Forma de decir que una respuesta única es ilusoria. Y que las empresas necesitan un punto de acceso a los diversos LLM que les ofrecen libertad de elección.

"En la IA generativa, está en movimiento en movimiento", dice el director del laboratorio de datos y IA. Por lo tanto, debe dividir su tubería en diferentes partes decoradas entre sí para reemplazar un elemento cuando no ofrece el nivel de rendimiento esperado. Sabiendo que es la parte de investigación la más importante en una tubería de trapo. Otro aspecto sobre el cual observar cuidadosamente antes de cualquier pasaje en la producción: las alucinaciones, que, en un contexto profesional, probablemente destruyan cualquier confianza en la herramienta dentro de las profesiones. Y esto, aunque este fenómeno, intrínseco a LLM, no se puede evitar por completo, incluso con el trapo, según Kent Aquereburu: "Debe ajustar cuidadosamente su modelo para encontrar el borde correcto desde el cual responderá a los usuarios: 'No sé. Es esencial para la confianza de este último.»

Calidad de datos no estructuradas: un sitio completo

Como señala Martina Machet, estas preguntas relacionadas con el rendimiento y la confiabilidad de los modelos que se ponen en manos de los usuarios generan rápidamente la importancia de la calidad de los datos. "Es aún más cierto con el Genai que con otras tecnologías, los usuarios generalmente pierden cualquier declive crítico con respecto a las respuestas que proporciona", dice el banco minorista. En el caso de la investigación sobre documentos, esto significa un salto cuántico en el gobierno de estas fuentes de información, para evitar múltiples versiones del mismo documento, duplicaciones, etc.

Una dificultad para la que Laci también golpeó en su fase piloto, la capacidad de la herramienta para encontrar el documento correcto que se mantiene perfectable como señalaron los primeros usuarios. "Cubrir todas las bases de datos documentales es un verdadero desafío. Estamos trabajando en algunos desarrollos que estarán disponibles el próximo mes para mejorar el nivel de rendimiento y poder ir a escala", dice Martina Machet. ¿Y tal vez mañana para revisar los procesos existentes en sí? "Como su funcionamiento es mejor y mejor entendido por los usuarios, el Genai nos empuja a repensar la estructura misma de los documentos para mejorar el rendimiento de la herramienta de investigación".