La tecnología aún suscitaba dudas, pero las pruebas realizadas con IBM, socio de Bouygues Telecom desde hace 5 años en la implementación de un programa de aculturación de la IA, fueron suficientes para disiparlas. En Bouygues Télécom, se espera que la IA generativa, basada en grandes modelos lingüísticos (o LLM por sus siglas en inglés, Large Language Models), se integre en los procesos de relación con los clientes. Empezando por dar respuesta a una necesidad que la tecnología no ha podido cubrir hasta ahora: aprovechar los millones de conversaciones grabadas entre los asesores del operador y sus clientes para mejorar los contactos futuros con estos últimos. “Una de las grandes cuestiones relativas a la evolución de las relaciones con los clientes reside en la capacidad de aprovechar las conversaciones pasadas con los clientes”, señala Simon Giraudy, director de estrategia, herramientas e innovación en las relaciones con los clientes del operador de telecomunicaciones. Hasta ahora, nunca habíamos encontrado las herramientas adecuadas para resumir de forma eficaz conversaciones que duraban una media de unos diez minutos. Últimamente sentimos que era hora de revisar el tema. »
De ahí el lanzamiento de un experimento para probar el potencial de la IA generativa en este caso de uso específico. “Primero trabajamos para mejorar la transcripción de las conversaciones, realizadas de voz a texto”, explica Selsabil Gaied, arquitecto de datos e inteligencia artificial de IBM Francia. Luego evaluamos la relevancia de diferentes LLM a la hora de producir resúmenes de estas conversaciones en 5 puntos clave con un mínimo de preparación de datos. » Una prueba que rápidamente proporciona primeros resultados alentadores, gracias a la gran cantidad de parámetros de las redes neuronales LLM junto con los cientos de GB de datos analizados. Y esto, a pesar de las complejidades presentes en las transcripciones (donde las palabras del asesor, por ejemplo, no están separadas de las del cliente).
Volver a entrenar un modelo: unos miles de euros
Este primer paso se completa luego con una fase de optimización, con el fin de ajustar los modelos a las necesidades específicas del operador. En particular, trabajando en la formulación de la instrucción correcta (el aviso, en la jerga de la IA generativa). “Para algunos modelos, los resultados mejoran cuando especificamos el contexto. Para otros, cuando damos ejemplos”, ilustra Selsabil Gaied. ¿El siguiente paso? Vuelva a entrenar los modelos, por naturaleza generales, con datos específicos de la empresa.
Simon Giraudy, director de estrategia, herramientas e innovación en relación con los clientes de Bouygues Telecom: “Hasta ahora, nunca habíamos encontrado las herramientas adecuadas para resumir de forma eficaz conversaciones que duraban una media de diez minutos. »
Para llevar a cabo su experimento, IBM se basó en la herramienta AWS SageMaker, con el fin de “acelerar el proceso, desplegar rápidamente los modelos, probarlos y alojar el repositorio de avisos”, según indica el arquitecto de IBM. Además, la elección de la herramienta AWS permite industrializar rápidamente una solución, si es necesario transformándola en una API. "Elegir la nube también le permite tener acceso a los recursos informáticos adecuados y pagarlos por uso", continúa Selsabil Gaied.
Eficacia probada, costes controlados. Tantos argumentos que convencieron a Bouygues Telecom de ir más allá. “Estamos convencidos de que entraremos en producción muy rápidamente. Ingerir millones de conversaciones en un modelo LLM cuesta actualmente sólo unos pocos miles de euros. Sin embargo, lo que está en juego es enorme: este tipo de aplicación puede evitar que un cliente repita sus problemas varias veces”, indica Simon Giraudy.
Ir a producción rápidamente
Queda por encontrar el modelo adecuado para industrializar lo que sigue siendo un experimento hasta el día de hoy. Para Matthieu Dupuis, responsable de IA del departamento TI del operador, hay cuatro caminos para entrar en producción: "API públicas, económicas pero que plantean dudas en términos de control de datos, gestión de SLA o optimizaciones precisas para nuestras necesidades; API gestionadas, más caros pero que permiten beneficiarse de infraestructura reservada, SLA controlados y capacidades de optimización, alojar el modelo en nuestra propia nube, lo que requiere controlar la infraestructura y asumir el coste de entrenar un modelo que contiene decenas de miles de millones de parámetros; entrenando a los nuestros modelos, una opción para la que actualmente no estamos preparados. » En otras palabras, la elección de la opción más adecuada depende de un equilibrio entre la complejidad tecnológica, los costes de implementación y la soberanía de los datos. “Nuestro deseo actual es avanzar rápidamente”, continúa Matthieu Dupuis. Así que tal vez empecemos en modo SaaS antes de optimizar nosotros mismos los modelos en una segunda fase. »
Matthieu Dupuis, jefe de IA del departamento de TI de Bouygues Telecom: “Nuestro deseo actual es actuar con rapidez. Entonces, tal vez comience en modo SaaS antes de optimizar los modelos nosotros mismos en una segunda fase. »
Para el responsable de IA del operador, este despliegue de LLM no cuestiona, sin embargo, los principios fundamentales de la estrategia desplegada hasta entonces. Lo que plantea al menos dos puntos de vigilancia. Primero, la capacidad de mantener el mejor enfoque. “Hoy en día, unos quince modelos pueden elaborar resúmenes de conversaciones entre asesores y clientes”, observa Matthieu Dupuis. Queremos mantener la capacidad de cambiar de modelo y seguir la evolución de estas tecnologías para poder ofrecer, mañana, un mejor nivel de dominio del discurso generado por la herramienta que ofrecemos. » El segundo punto de atención destacado por los equipos de Bouygues Telecom está directamente relacionado con esta evolución: el operador desea, de hecho, protegerse de cualquier impacto sobre los clientes. "Es por eso que nuestros escenarios de implementación actuales solo están dirigidos a usuarios internos", continúa Matthieu Dupuis. Para nuestros clientes, no podemos permitirnos las imperfecciones que aún están presentes en las respuestas de la IA generativa. »
“¿El impacto en las operaciones? Hay incógnitas»
Pero, incluso si se limita a los asesores de los clientes del operador, la llegada de la IA generativa a la producción podría generar efectos secundarios que siguen siendo difíciles de anticipar. "La relevancia de los resúmenes que la IA generativa puede ofrecer es bastante increíble en comparación con lo que sabíamos antes", señala Selsabil Gaied. De ahí el deseo de avanzar rápidamente en este ámbito, pero manteniendo la cabeza fría. Porque el impacto que tendrá la tecnología en las operaciones es una incógnita. » Como la producción de alucinaciones, es decir, elementos 'inventados' por los LLM. O, como la forma en que miles de asesores recibirán y utilizarán estos resúmenes. “¿No lo verán como un evangelio?” pregunta el consultor. Incluso si los resúmenes producidos son brillantes, necesitamos comprender mejor los efectos que inducirán. » Para ello, después de haber evaluado los resúmenes resultantes del experimento por equipos de asesores, Bouygues Telecom pasará a la fase de industrialización. A través de resúmenes del historial de conversaciones ofrecidos directamente en Salesforce.
Otras noticias que te pueden interesar