Con Lakehouse, Hopsworks fluidifica las tuberías de datos para la IA

En un mundo donde la inteligencia artificial (IA) se vuelve omnipresente, pocas plataformas logran resolver el dilema fundamental: ¿cómo integrar fluidamente los sistemas de IA en las empresas sin colisionar con la fragmentación de datos y los plazos costosos? Durante una reciente gira de prensa de IT en Estambul, Hopsworks, una nueva empresa sueca fundada en 2018, presentó su solución Lakehouse a EE. UU., Cual tiene como objetivo transformar la gestión de datos mediante la combinación de inteligencia artificial, análisis en tiempo real y gestión de modelos de idiomas (LLM), todo en una estructura abierta y modular. Pero más allá de los aspectos técnicos, esta plataforma refleja una mayor ambición: permitir que las empresas transformen sus datos en su uso más rápidamente.

Creado por un equipo de desarrolladores suecos de KTH, Rise y MySQL, Hopsworks se posiciona como una solución para las empresas que buscan explotar mejor sus datos. El viaje de Jim Dowling, cofundador y CEO de la compañía, es emblemático. Ex profesor de la Universidad de KTH y experto reconocido en la comunidad de bases de datos, contribuyó a la creación de esta plataforma modular y abierta, capaz de cumplir con los requisitos principales de los sistemas modernos de IA. Con un equipo dividido entre Estocolmo, Londres y Silicon Valley, Hopsworks ahora tiene 36 empleados y ha elevado un total de € 12.25 millones en tres vueltas financieras.

El concepto de Lakehouse promete transformar la gestión de datos mediante la combinación de inteligencia artificial, análisis en tiempo real y gestión de modelos de idiomas (LLM), todo en una estructura abierta y modular. (Crédito: Hopsworks)

Responder a los desafíos de IA en las empresas

Uno de los principales obstáculos que las empresas enfrentan con IA es la dificultad de operacionalizar sus modelos. Según la firma de estudio Gartner, el 48 % de los modelos de IA nunca alcanzan la producción. Esto se explica por la complejidad de la integración de datos de múltiples fuentes, equipos particionados y marcos incompatibles. El costo y el tiempo requeridos para construir una plataforma de IA interna, estimada entre 12 y 24 meses, también constituyen frenos importantes. Por lo tanto, Hopsworks ofrece un enfoque más rápido y menos costoso. Gracias a su arquitectura abierta, la plataforma permite desarrollar y colocar tuberías de datos para IA en solo unas pocas semanas, optimizando así el retorno de la inversión. Al confiar en Lakehouse, una arquitectura que separa el almacenamiento de los datos de las solicitudes, Hopworks garantiza un mejor rendimiento de los modelos, al tiempo que evita las trampas del bloqueo del proveedor. El concepto de Lakehouse, que combina las ventajas de un almacén de datos (almacén de datos) y un lago de datos (Data Lake), ha cambiado la forma en que las empresas administran y operan su información. A diferencia de las soluciones cerradas que ofrecen gigantes como Snowflake o Databricks, Hopsworks Lakehouse está completamente abierto. Permite almacenar datos estructurados y no estructurados, al tiempo que facilita su procesamiento por solicitudes SQL o marcos de Python como Pandas y Pytorch.

Esta flexibilidad no solo permite procesar datos en tiempo real, sino también usar modelos complejos como LLM para aplicaciones como la detección de fraude, la recomendación del producto o el análisis de datos del cliente. Lo que diferencia a Hopsworks de sus competidores es su capacidad para integrar estos modelos de manera transparente en las tuberías de datos para la IA existente. Las empresas ya no necesitan reconstruir sus plataformas con cada nuevo desarrollo tecnológico. Esta adaptabilidad no solo ahorra tiempo, sino que también optimiza el rendimiento de los sistemas de producción. Los LLM están en el corazón de muchas aplicaciones modernas de IA. Permiten, por ejemplo, analizar CVS para detectar sesgos o palabras inapropiadas. Hopsworks ya se usa en varios proyectos gubernamentales en Suecia, donde se implementan estos modelos para mejorar la eficiencia de los servicios públicos. El Instituto Karolinska, una de las principales universidades de investigación médica en Suecia, utiliza Hopsworks para analizar los datos del cáncer. En el sector bancario, una institución ecuadora se basa en la plataforma para combatir el fraude y el lavado de dinero. Incluso en el campo de las apuestas deportivas, Hopsworks ha ayudado a mejorar los sistemas de recomendación, aumentando así la satisfacción del usuario y los ingresos generados.

Rendimiento sobre todo

Otro gran activo de Hopsworks es su actuación. Durante las pruebas comparativas realizadas por terceros, la plataforma ha demostrado resultados hasta 45 veces más rápido que las soluciones como Databricks o SageMaker, en particular para el acceso a los datos de Python y la creación de modelos IA. Estas actuaciones son particularmente cruciales para industrias como las finanzas, donde la velocidad del procesamiento de las transacciones y la detección de fraude son esenciales. Al ofrecer una latencia de lectura tan baja como 1 ms para datos en línea, y una de las más alta capacidad de escritura del mercado, Hopsworks se distingue claramente de sus competidores. Además, gracias a su soporte para la replicación interregional, la inicio garantiza la máxima disponibilidad, un requisito clave para grandes empresas multinacionales. Mientras que muchas compañías buscan encerrar a sus clientes en ecosistemas cerrados, Hopsworks se está centrando en la apertura y la modularidad. Gracias a sus asociaciones con proveedores como AMD, Intel, Supermicro y OVH, la plataforma continúa evolucionando, al tiempo que garantiza la compatibilidad con las últimas innovaciones tecnológicas.

Hopsworks se ha establecido con clientes en investigación médica, apuestas deportivas o servicios bancarios: Allstate, Americafirst o Arbetsformblingen (ANPE sueco).