Tan convincente como los chatbots pueden ser para los usos del consumidor, la industrialización de la IA generativa para adaptarla a las limitaciones de un banco no es una SineCure. En resumen, esto señala Crédit Agricole, durante una presentación de su plataforma de investigación generativa. "Este proyecto es una confrontación del Genai con los estándares industriales de un gran banco", resume Aldrick Zappellini, el director de datos de Crédit Agricole, que intervino durante el evento de IA para Finanzas, el 17 de septiembre en París.

La estrategia de crédito agrícola en términos de IA generativa se estructura en torno a 36 casos de uso priorizados por el Comité Ejecutivo del Grupo, basado en una plataforma casera, Generation Search. "Hemos elegido llevar un caso de usuario a la producción directamente, incluso si directamente es probablemente un término un tanto de uso en exceso en este caso", explica el CDO. En este caso, esta es una primera aplicación basada en la búsqueda generativa, que combina investigación en un gran corpus de información en lenguaje natural, trapo (generación de aumento de recuperación) y Genai para ofrecer síntesis a los usuarios, este último se asocia con fuentes y pasajes relevantes dentro de ellos. El método del proyecto implementado por el establecimiento bancario ha sido certificado industrial y confianza por el LNE, el Laboratorio Nacional de Metrología y Pruebas. "No queríamos saber un fracaso en la industrialización o ir con una deuda técnica", dijo Samuel Laloum, IA y director del proyecto de datos en Crédit Agricole

Una plataforma para todos los corpus y formatos

Para hacer esto, desde la fase de encuadre, los equipos de datos del banco establecieron cinco principios clave: la preparación esencial de los datos, para alcanzar un nivel satisfactorio de calidad para el uso previsto; la co-construcción de la base de conocimiento con futuros usuarios; Pasar a través de una fase de pruebas de motor de IA y un aviso, lo que hace posible ajustar finamente el modelo, trabajar su explicación y detallar su impacto ambiental; la atención prestada a la solución y el empaque de implementación; Y, finalmente, la gestión de la ejecución y la implementación de un monitoreo, para establecer un ciclo de mejora de la aplicación.

Construida internamente, la plataforma de búsqueda generativa quiere ser, por construcción, adaptable a varios casos de uso, pero también a desarrollos permanentes en el mercado de Genai. Por lo tanto, tiene la capacidad de apuntar a varios corpus de conocimiento, varias fuentes y formatos, la de integrar diferentes pre -lado de LLM y tener tuberías personalizables. La plataforma, disponible directamente o en forma de una API, debe ser capaz de implementarse en la nube o en las instalaciones para los datos más confidenciales. "Ya sea que estemos hablando de Genai u otras tecnologías, nuestra estrategia está destinada a ser diversificada, porque el mayor riesgo que hemos identificado es el de dependencia económica de un tercero", explica Aldrick Zappellini.

100 pares de preguntas/respuestas anotadas para monitorear el modelo

Construido sobre la base de tecnologías bastante clásicas, la plataforma se probó inmediatamente en un primer caso, en este caso la investigación en el corpus normativo de la IA, en otras palabras, AI ACT European. "Hemos trabajado con una base de verdad anotada de 100 pares de preguntas/respuestas para monitorear el modelo, un enfoque junto con una evaluación de la relevancia de las respuestas por parte de los propios usuarios", explica Aymen Shabou, director técnico de la datos y la fábrica del Grupo Crédit Agricole. La capacidad de entrar en producción con este o aquel LLM depende de los resultados basados ​​en datos anotados. Por ejemplo, en los estándares de IA, el modelo Claude ha demostrado ser el más eficiente.

Este galope de prueba permitió a Crédit Agricole enfrentar los desafíos de la industrialización a gran escala de este tipo de aplicaciones. "Los límites de los proveedores de nubes aparecieron a partir de las pruebas de carga", dijo Aymen Shabou. Comenzando con los costos operativos. Para los expertos en banca, dos opciones están abiertas. Un pago por su uso, flexible y para el cual se pueden utilizar estrategias múltiples, múltiples regiones y múltiples modelos para exceder los límites impuestos por los proveedores. "Los costos son más bajos siempre que los volúmenes permanezcan bajos, ¡pero tenga cuidado con su explosión cuando los usos aumentan!" "Advierte a Aldrick Zappellini. La alternativa? Pase por los cuerpos reservados donde los flujos y los recursos de cálculo son preportados por el proveedor." Es una opción interesante cuando aumentan los volúmenes, pero es menos flexible y la estimación de los recursos necesarios se mantiene complejo ", dice el CDO. En corto, un dilema cada tiempo.

Gestión de documentos urbanizantes

El otro desafío importante en la producción de una aplicación Genai en el banco obviamente reside en seguridad. En este campo, Crédit Agricole eligió "un enfoque de equipo rojo continuo", según el Aymen Shabou. En otras palabras, experimentar el modelo sobre el agua para detectar riesgos y mitigarlos. "Para hacer esto, utilizamos la diversificación de modelos, la optimización de las indicaciones y el ajuste de las tuberías de RAG", explica el director técnico de Datalab y AI Factory. Todas las pruebas se consolidan, en un proceso de mejora continua. Precauciones que reducen los riesgos, no para eliminarlos por completo debido a la naturaleza misma de la tecnología. "Para entrar en producción, nuestra estrategia consiste sistemáticamente en mantener al humano en el ciclo", responde Aldrick Zappellini.

Para este último, este inicio de la plataforma de búsqueda generativa también subraya las "necesidades de urbanización que existen en términos de gestión de datos, y más específicamente de la gestión de documentos. Como en la mayoría de las organizaciones, en particular la banca, los viejos GED, los bases de los documentos de oficina y otros coexisten dentro de los sistemas de información de CRÉDIT Agricole". La urbanización de documentos de los documentos es mayor que la necesaria para el despliegue de AI propiamente dicho.

¿Calcular el valor de las aplicaciones de Genai? " Complejo "

Más allá de la cuestión de los costos operativos, el tema del valor creado con las aplicaciones de IA debe ser mejor marcada, según el CDO. "El número de aplicaciones del Genai no importa, lo que importa es su impacto. Estoy lejos de convencido de que los 36 casos de uso serán tratados con esta tecnología, estoy incluso más bien convencido de lo contrario. En resumen, la locura por la IA generativa no debe quedarse ciego, evitando que un equipo de TIS o de TI evite que sean una expectativa comercial por un simple procesamiento o un procesamiento de procesos". Además, el cálculo del valor del valor de los complejos de la TI, sigue siendo complejo, sigue siendo complejo de estos. Zappellini.