Impulsada por la demanda de los clientes, SingleStore, la empresa detrás de la base de datos relacional SingleStoreDB, decidió integrar de forma nativa Apache Iceberg a su oferta para ayudar a las empresas a explotar los datos almacenados en sus data lakehouses. Este formato de tabla de código abierto para almacenar conjuntos de datos ha ido ganando popularidad entre las empresas durante más de un año. "Con esta nueva integración, SingleStore tiene como objetivo transformar los datos inactivos "Apache Iceberg, un estándar abierto popular para almacenes de datos, ofrece a los CIO un almacenamiento y una consulta eficientes de grandes conjuntos de datos", afirmó Dion Hinchcliffe, analista principal de The Futurum Group.
Este último también señaló que la integración de SingleStore incluye actualizaciones que ayudan a sus clientes a sortear los desafíos que suelen enfrentar al adoptar métodos tradicionales para hacer que los datos en las tablas Iceberg sean más accesibles. Esto incluye flujos de trabajo ETL (extracción, transformación, carga) complejos y grandes y trabajos Spark de uso intensivo de recursos informáticos. Los beneficios clave incluyen la ingesta de baja latencia, la transmisión de datos bidireccional y el rendimiento en tiempo real a un menor costo, según el proveedor. Carl Olofson, vicepresidente de investigación de IDC, dijo que la compañía, anteriormente conocida como MemSQL, una versión optimizada para memoria y de alto rendimiento del sistema de gestión de bases de datos relacionales, utiliza las características de la memoria como una especie de caché. "Al hacerlo, la compañía puede mejorar significativamente la velocidad a la que se pueden consultar y actualizar las tablas Iceberg", explicó el consultor, y agregó que las compañías podrían cargar de manera proactiva los datos de Iceberg en un formato de memoria interna optimizado.
El planeta del almacenamiento de datos está en crisis
Antes de la integración de Iceberg, SingleStore almacenaba datos en un formato optimizado para una transferencia rápida a la memoria, donde se produce todo el procesamiento de datos, explicó el analista. Varios otros proveedores de bases de datos, incluido Databricks, han intentado adoptar el formato de tabla Apache Iceberg debido a su creciente popularidad entre las empresas. A principios de este mes, Databricks ha adquirido TabularPlataforma de gestión de datos fundada por los creadores de Apache Iceberg para promover la interoperabilidad de los datos en los almacenes de datos. Otro formato de gestión de datos, Delta Live Tables, desarrollado por Databricks y luego puesto a disposición de forma gratuita por la Linux Foundation, compite con las tablas Iceberg. La empresa está trabajando actualmente en otro formato que permite a las empresas utilizar tanto las tablas Iceberg como las Delta Live.
Carl Olofson y Dion Hinchcliffe señalaron que varios proveedores y ofertas, como Copo de nieve PolarisGoogle BigQuery, Starburst, IBM Watsonx.data, SAP DataSphere, Teradata, Cloudera, Dremio, Presto, Hive, Impala, StarRocks y Doris han integrado Iceberg como un formato de tabla analítica de código abierto para conjuntos de datos muy grandes. La integración nativa de Iceberg en SingleStoreDB se encuentra actualmente en versión preliminar pública.
Opciones adicionales de búsqueda e implementación
Como parte de las actualizaciones de SingleStoreDB, la empresa también está agregando funciones adicionales a su función de búsqueda de texto completo que mejoran la puntuación de relevancia, la similitud fonética, la coincidencia aproximada y la clasificación basada en la proximidad de palabras clave. La combinación de estas funciones elimina la necesidad de bases de datos especializadas adicionales para que las empresas creen aplicaciones basadas en GenAI, explica la empresa.
Además, SingleStoreDB introdujo una función de escalado automático en la versión beta pública que permite a las empresas gestionar cargas de trabajo o aplicaciones ampliando o reduciendo los recursos informáticos. También ofrece a los usuarios la posibilidad de establecer umbrales de uso de CPU y memoria para el escalado automático, a fin de evitar un consumo innecesario. Además, la empresa afirmó que está introduciendo una nueva opción de implementación para la base de datos a través de Helios BYOC, que es una versión administrada de la base de datos a través de una nube privada virtual. Esta oferta ahora también está disponible en versión beta privada en AWS, y los clientes de SingleStore pueden ejecutar el RDBMS en sus propias instancias mientras cumplen con las políticas de localización y gobernanza de datos, según el proveedor.
Otras noticias que te pueden interesar