Los big data no son un tema reciente en Axa France. Pero en 2019, la aseguradora quiso pasar a otra escala en términos de explotación de datos. Para ello, cambió su gran base de datos, anteriormente basada en una plataforma Hadoop local, a la plataforma en la nube Databricks. Robin Cunchillos, arquitecto principal del equipo de fundamentos de big data y aprendizaje automático de Axa France, explica los motivos de esta elección y comparte los puntos clave que hicieron que la transición fuera un éxito.
“En 2018, cuando me incorporé a Axa France, la base de big data se basaba en un dispositivo Hadoop compartido con otras empresas del grupo”, recuerda Robin Cunchillos. "Fue un muy buen primer paso, pero los tickets asociados eran cada vez mayores". Además, ciertas profesiones, como los actuarios, cuyo trabajo depende en gran medida de aplicaciones analíticas, ya no pudieron abordar sus nuevas necesidades, particularmente en torno al aprendizaje automático. El equipo responsable de la gran base de datos decidió buscar otra solución. Pero antes de consultar el mercado, se comienza por recopilar las necesidades de las diferentes comunidades de usuarios, prestando especial atención a identificar los puntos débiles. “Observamos dificultades reales para alcanzar los niveles deseados de servicios. Por ejemplo, los equipos tuvieron muchas dificultades para comprometerse en materia de precios”, ilustra Robin Cunchillos.
Implementación automatizada a partir de especificaciones
Una vez finalizada la recopilación de requisitos, el equipo inicia una fase de prueba de concepto (PoC) con las soluciones en la nube disponibles en el mercado, entre finales de 2018 y principios de 2019. Al final, Axa France selecciona la solución en la nube. de Databricks, implementado en la nube de Microsoft Azure. “Cuatro pilares guiaron nuestra elección: rendimiento, capacidad de mantener los SLA, costes y, en la medida de lo posible, reversibilidad”, recuerda Robin Cunchillos. El equipo de base quiere especialmente que cada proyecto sea completamente independiente en términos de costes y usos, con una arquitectura idempotente (idempotencia significa que una operación tiene el mismo efecto ya sea que se aplique una o más veces).
Al implementar la plataforma, otro principio fundamental guía al equipo: la implementación y la gestión técnica de los casos de uso deben estar 100% automatizadas. "Al crear esta plataforma como código, queríamos una visión que fuera fácil de definir para los usuarios, con una capa de abstracción por encima de las capas técnicas y funcionales", dice Robin Cunchillos. “Se trataba de reducir al máximo las operaciones técnicas para los usuarios, por ejemplo para acceder a las fuentes. » El equipo también quiere demostrar su capacidad para trabajar 100% en la nube, sin ninguna operación manual. Para ello, crea su propio marco de implementación, utilizando Databricks para la parte informática, así como diferentes bricks de Azure. Este marco permite la abstracción de las especificaciones funcionales proporcionadas por los usuarios. "Hemos intentado que estas especificaciones sean lo más inteligibles posible, ya sea en lo que respecta a la seguridad, la configuración de la red, el tipo de clúster o el procesamiento deseado", afirma Robin Cunchillos.
Múltiples casos de uso
En enero de 2020 se completó oficialmente la integración. Hoy, Databricks ha sustituido por completo la base Hadoop de Axa France. La plataforma se divide en tres entornos principales, cada uno de ellos destinado a diferentes tipos de servicios. El primero es el lago de datos. Aquí se gestionan todos los aspectos de la gestión de datos: preparación e ingesta de datos, cumplimiento del RGPD, calidad, linaje de datos, etc. "Todos estos elementos se definen en las especificaciones, y los propietarios de los datos de cada dominio cumplen los indicadores asociados", explica Robin. Cunchillos. El segundo entorno alberga los casos de uso puestos en producción. Entre ellos se encuentran los usos clásicos del sector asegurador, como precios inteligentes, muchos análisis, informes, BI, pero también cada vez más el aprendizaje automático, la formación de modelos y las inferencias, según el arquitecto. Finalmente, un entorno final, el laboratorio de datos, satisface las necesidades de experimentación. "Se trata de un entorno exploratorio colaborativo para simulación y entrenamiento de modelos", afirma Robin Cunchillos.
Con la nueva plataforma, el equipo obtuvo ganancias significativas en el tiempo necesario para que los casos de uso estuvieran disponibles. Esto resultó en un fuerte aumento de las cajas en producción: en noviembre pasado, su número se quintuplicó. Según el arquitecto principal, los objetivos relacionados con el cumplimiento de los SLA también se han alcanzado en gran medida. “Gracias a toda la cadena (Databricks, Azure y la automatización), ahora estamos cumpliendo tres veces mejor los compromisos de servicio que en años anteriores. » Hasta tal punto que la base ha cambiado el día a día de muchos usuarios. “A partir de 2020, pudieron centrarse más en sus problemas comerciales que en resolver incidencias”, testifica Robin Cunchillos. El proyecto también ganó el premio “Mejor Proyecto Cloud” del grupo Axa por su impacto en los usuarios. Sin embargo, tanto para estos últimos como para el equipo central, representó un cambio de paradigma importante. En la antigua plataforma, el equipo participaba directamente en los procesos de entrega. "Esto siguió siendo manejable, porque se implementaron muchos menos casos de uso", especifica el arquitecto principal. A partir de ahora, son los equipos quienes gestionan todo el ciclo de vida de sus productos de datos, incluida la entrega y la producción. Por lo tanto, integran todas las habilidades necesarias, arquitectos, líderes tecnológicos e ingenieros de datos. “El coste de entrada era importante para ellos, porque antes toda la gestión estaba delegada. Ahora tienen toda la responsabilidad”, señala Robin Cunchillos.
Explicar las opciones a los usuarios.
En tal contexto, la aculturación jugó un papel clave en el éxito del proyecto. “Pudimos hacer el cambio porque los equipos de usuarios se apropiaron de los procesos y especificaciones, pero requirió mucho trabajo de nuestra parte. Nos tomamos mucho tiempo para compartir nuestras elecciones con las diferentes comunidades, para explicar por qué lo habíamos hecho, por qué ciertos aspectos a veces se configuraban de manera restrictiva”, explica Robin Cunchillos. Antes del proyecto, también destaca la importancia de conocer los problemas de los usuarios desde un punto de vista operativo. “Hicimos un verdadero recorrido por la mesa durante la fase de expresión de necesidades, y luego intentamos cubrir los puntos planteados”, enfatiza.
El último elemento clave, según él, es el deseo de tener operaciones 100% automatizadas. “Con Cédric Édouard Kassi, director de bases de big data y aprendizaje automático de Axa France, decidimos no ofrecer nada que no esté completamente automatizado”, relata Robin Cunchillos. En 2019, en el momento del proyecto, tal nivel de automatización todavía era bastante raro. "Hoy en día, los marcos de automatización son mucho más comunes", observa el arquitecto principal. Pero fue una elección estratégica para poder absorber el aumento de los casos de uso: de hecho, “una vez que una tarea está automatizada, se puede delegar a otros equipos, responsables de la ejecución y el seguimiento, por ejemplo”, explica Robin Cunchillos. La plataforma también alberga un caso de uso específicamente dedicado al monitoreo, que proporciona una vista funcional de todos los casos de uso implementados. “Esta herramienta indica si se respetan los SLA o si hay algún problema y, en caso afirmativo, permite identificar la parte de la cadena afectada por el incidente”, describe Robin Cunchillos. Los usuarios pueden consultar estos informes para realizar un seguimiento de la producción en tiempo real. Visibilidad que les permite tener confianza en la cadena, añade.
Actualmente, el equipo responsable de la base está llevando a cabo varios proyectos simultáneamente. En el aspecto técnico, trabaja en particular en el aprendizaje automático y en los LLM (grandes modelos de lenguaje), que son cada vez más importantes. “Ya tenemos modelos de este tipo en producción, pero uno de nuestros objetivos es implementarlos a una escala mucho mayor. Para ello, hemos creado una comunidad MLOps. Nuestra ambición es hacer evolucionar nuestra plataforma para construir una nueva base de aprendizaje automático, accesible para todos y no sólo para los expertos, y que permita llevar los modelos a producción”, confía Robin Cunchillos.
El equipo también debate con la CNIL las cuestiones relacionadas con las futuras regulaciones sobre inteligencia artificial. en particular la explicabilidad y trazabilidad del modelo. "Nuestro deseo es poder integrar estas dimensiones en la base tecnológica, de modo que los elementos de explicabilidad estén disponibles en el estante", espera Robin Cunchillos. Finalmente, una última cuestión, esta vez no vinculada a la tecnología, se refiere al desarrollo de la cultura de los datos dentro de las diferentes comunidades de usuarios. Un tema importante, en el que el equipo trabaja con la directora de datos de Axa France, Chafika Chettaoui. “Hasta ahora la migración a la nube se ha considerado más desde una perspectiva tecnológica. Pero la cultura de los datos dentro de las tribus es esencial. Se trata de involucrar a los usuarios, para que comprendan la noción de producto de datos y lo que significa para ellos en el día a día”, afirma el arquitecto principal.
Otras noticias que te pueden interesar