La virtualización de datos de Denodo ayuda a Coface

Referente en seguros de crédito y experta en gestión de riesgos, Coface protege a las empresas contra el impago y asegura sus transacciones comerciales en sus mercados nacionales y de exportación. La empresa, creada hace más de 75 años, da soporte a más de 50.000 empresas en todo el mundo gracias a una extensa red internacional. “Los apoyamos en sus decisiones crediticias y realizamos más de 10.000 arbitrajes al día”, explicó Samia Boujatioui, responsable de procesamiento de datos, virtual data lake y virtualización de datos de Coface. La compañía de seguros, cuyos datos están sujetos a fuertes restricciones regulatorias, tiene alrededor de diez repositorios de datos.

Hace tres años, Coface definió una estrategia de recuperación de datos que comenzó con la implementación de un primer lago de datos. Nuestro deseo era seleccionar una tecnología que nos proporcione manejo de datos y eficiencia operativa. Inicialmente, la cuestión que surge es la de mantener la arquitectura existente en la empresa -Coface utiliza herramientas ETL en particular- y complementarla en lugar de rediseñarla por completo. “Queríamos evitar el lago de datos clásico”, dice Samia Boujatioui. Luego se examinan varias tecnologías y arquitecturas, incluidas las herramientas de virtualización de datos. Estos últimos brindan acceso a una vista de todos los datos de una empresa sin tener que replicarlos dentro de un repositorio. A continuación, se selecciona la plataforma de la editorial Denodo, que presenta notablemente casos de uso cercanos a lo que Coface desea desarrollar como parte de su estrategia de datos.

En la plataforma se construye un primer data warehouse virtual con los datos contractuales de Coface. “Con una sola herramienta, pudimos configurar soluciones de suministro de datos a medida”, explica la Sra. Boujatioui. Su experiencia con herramientas tradicionales de BI le proporciona elementos de comparación sobre el interés de la tecnología elegida. “La herramienta Denodo te permite hacer parte de lo que hace un ETL, pero no lo reemplaza. Esta solución es adecuada para datos operativos que no necesariamente requieren una alta transformación. Esta necesidad de un almacén de datos era el caso de uso ideal para implementar una solución de datos 100 % virtual”, describe.

Una PoC completada en tres meses

Hasta 2019, Coface dependía de un almacén de datos operativo. Tuvimos que aplanar el modelo de datos. Toda la parte de diseño y concepción se hizo con Denodo. “Para comenzar con la herramienta, era absolutamente necesario establecer un paralelo con la toma de decisiones tradicional para comprender cómo lograr los KPI comerciales. Denodo nos permitió tener las diferentes capas con una sola herramienta”, comenta el responsable de virtualización de datos. La capa básica es un espejo del ODS. “No hay redundancia de datos, no hay replicación, porque dejamos las fuentes donde están y las leemos directamente”, explica y agrega: “Hay un trabajo de limpieza para obtener vistas derivadas, preparar el modelo de datos y luego configurar el modelo de datos del contrato para la entrega”. Este modelo es muy complejo, no en términos de volumen sino de transformación, “porque hay muchos productos cartesianos para llegar a una línea de contrato”, especifica. La cuestión de cada contrato encierra efectivamente varios contextos, varias condiciones, de ahí la complejidad.

Con el modelado habilitado por la solución Denodo, la Prueba de concepto, PoC [NDLR: preuve de faisabilité] se completa en 3 meses y finalmente se convierte en un proyecto real. “Pudimos hacer fácilmente la concepción, el diseño, las pruebas, etc. Y tener un almacén de datos accesible en tiempo real con los datos contractuales”, continúa Samia Boujatioui. “El costo es mucho más bajo que un proyecto usando un ETL, configurando universos, etc. Los modelos de datos que hemos creado nos han servido para otros proyectos y hemos podido conectar directamente vistas de aplicaciones y vistas de informes a Power BI para obtener datos. visualización. »

Veinte casos de uso

Cabe señalar que durante el proyecto surgió un problema relacionado con la complejidad de una de las vistas de la aplicación, que requería casi 15 uniones con, en términos de abastecimiento, datos provenientes de casi 15 tablas ODS. "Para esta vista, pudimos resolver los problemas de rendimiento al habilitar el caché de disco, que normalmente está orientado a calcular los KPI". De ahí la advertencia de la Sra. Boujatioui. “Para cualquier caso de uso de Denodo, necesita un estudio de alcance exhaustivo. Desde el inicio del proyecto, es necesario poder responder preguntas sobre el volumen, sobre la necesidad o no de historización de los datos y sobre la alta transformación de los datos”.

Después de este primer proyecto, que consistía en convencer a los equipos del valor de la virtualización de datos, siguieron otras iniciativas. "Hasta la fecha, hemos llegado a una veintena de casos de uso, que pronto serán 25. Esto ha llevado a la creación de nuestro lago de datos virtual".

El lago de datos virtual potencia el CRM

Con el tiempo, el lago de datos se ha convertido en una fuente de datos, ya que la plataforma de Denodo se conecta a varias aplicaciones del mercado, especialmente en la nube. Este es el caso del software CRM desplegado por Coface. "El lago de datos lo alimenta con datos y otro software". Así, todos los datos contractuales de la herramienta CRM proceden de los primeros Contratos del datawarehouse virtual. Por el contrario, la nueva herramienta de recursos humanos alimenta el lago de datos virtual. Denodo recopila datos, los transforma y los pone a disposición para alimentar diversas aplicaciones locales y grupales. “Así centralizamos los datos porque la capa semántica juega un papel muy importante dentro de la arquitectura de Procesamiento de Datos. De esta forma, gestionamos las reglas de seguridad y acceso a los datos y, sobre todo, en tiempo real.

Para el equipo a cargo del lago de datos virtual de Coface, el próximo desafío se refiere a la propagación de identidades entre los sistemas de los consumidores. Esto automatizará parte del proceso de acceso a datos desde herramientas de visualización de datos (PowerBI, SAP BO). Por ahora, la concesión de los derechos necesarios a los proyectos de Denodo se gestiona a través de grupos AD [Active Directory].

Profesiones animadas a utilizar el Catálogo de Datos

Muy rápidamente, después de los primeros casos de uso administrados con un enfoque bastante clásico en cuanto al rol de TI, la estrategia de mejora de datos conduce a empoderar a las empresas y ponerlas al tanto desde el inicio de los proyectos de Denodo. “Tenemos un comité de arquitectura antes de cada caso de uso para discutir el marco funcional y técnico de los temas y ahora estamos trabajando en estrecha colaboración con las empresas. El propietario del producto está involucrado en todas las etapas de la implementación del proyecto”, indica la Sra. Boujatioui. “Teníamos interés en tener este trabajo de colaboración con los oficios. Desde su puesta en marcha hemos batido récords en cuanto a entrega, a finales de 2021 y en 2022, gracias a esta buena comunicación entre los distintos grupos de interés”.

Por ahora, el 80% de los entregables de vista pasan por servicios web (Rest API, ODBC, JDBC). Tan pronto como se crea una vista, se envía un documento a los usuarios con diferentes formas de acceder a él. “Apoyamos a las empresas en modo de gestión de cambios en el consumo de estos datos, pero a medida que avanzan los casos de uso, han adquirido una cierta madurez y buscarán los datos en el Catálogo de datos, en particular para recetas funcionales. Su implicación nos ha permitido orientar mejor lo que damos, la flexibilidad de la tecnología utilizada hace que las PoC se realicen muy rápidamente”. Con la virtualización de datos, hay menos costos de infraestructura en el almacenamiento de datos. Dependiendo de su complejidad, los PoC pueden tardar de 2 días (si las fuentes de datos se conocen y ya están configuradas) a 2 semanas si aún no se tienen en cuenta los formatos de datos.

Para instalar la solución de virtualización de datos, el editor de software apoyó al equipo de producción. La capacitación en la plataforma Denodo fue rápida para los equipos de TI y los analistas comerciales. "Por el lado del desarrollo, el conocimiento de las herramientas ETL hace que sea más fácil empezar", señala el administrador del lago de datos virtual. Para los analistas de negocios, que deben poder rastrear el ciclo de vida de los datos de los KPI, es necesario otro tipo de capacitación. En esta área, la plataforma brinda funcionalidades de Data Lineage que permiten rastrear este ciclo de vida en un solo clic. Todas las fuentes de datos y vistas se muestran en forma de gráfico. Para cada campo, podemos saber de dónde proviene la información. El lenguaje utilizado con el software, VQL, tiene una sintaxis similar a la de SQL.

Comprender los datos

Por el lado empresarial, la formación se centrará en el Catálogo de Datos para poder buscar todas las vistas disponibles. “Al ingresar el nombre del campo que desea consultar en el Catálogo de Datos, accede a las vistas de la aplicación oa los informes asociados. Hay una herramienta de visualización de datos, podemos configurar un filtro muy fácilmente”, describe la Sra. Boujatioui, explicando que alienta a los equipos comerciales a no limitarse a los servicios web proporcionados para consultar las vistas de la aplicación, sino a profundizar en los datos. para entenderlos.

“La herramienta de visualización de datos es muy útil, el riesgo podría ser que sea secuestrada y terminemos creando plantas de gas. Pero dentro de nuestra entidad Data Office, estudiamos y validamos los casos de uso elegibles”. Si una especificación requiere un gran volumen de datos con recuperación histórica, es mejor utilizar otra tecnología. “No necesariamente impulsamos la virtualización. Es posible que tengamos que proponer esquemas híbridos en los que se utilice Denodo para la parte de gobernanza y el suministro de datos, mientras que nos abasteceremos directamente del almacén de datos físico existente”.

Rompa los silos, centralice la gobernanza, amplíe SaaS

Samia Boujatioui resume en tres puntos principales los beneficios de implementar la plataforma de virtualización de datos. Primero, la implementación del lago de datos virtual ha permitido romper silos, facilitar el acceso a los datos y reducir su costo. “Hay que saber trabajar de forma colaborativa y flexible”, nos recuerda de pasada. El software seleccionado tiene la ventaja de ser bastante intuitivo, requiere poca o ninguna capacitación. “Para mí, esto es un punto positivo”.

En segundo lugar, en aspectos de gobernanza, el responsable de Data Lake señala el interés de gestionar el cumplimiento y la seguridad de los datos a través de esta plataforma centralizada. “Esto nos permite realizar controles de cumplimiento y auditorías de forma más rápida y precisa”, subraya, y añade que, accediendo a las diferentes vistas a través del Catálogo de Datos, ya se ha podido configurar un sistema de depuración de datos del RGPD. Finalmente, el 3er punto se refiere a la simplificación de la transformación SaaS/cloud de Coface a través de la interconectividad permitida entre las nuevas aplicaciones SaaS adquiridas y la plataforma Denodo.