Como parte de su conferencia re:Invent 2023, AWS anunció integraciones de Amazon RedShift con Amazon Aurora PostgreSQL, DynamoDB y RDS para MySQL, continuando su impulso para lograr ETL cero para servicios de almacenamiento de datos. Las empresas suelen utilizar la extracción, transformación y carga (ETL) para integrar datos de múltiples fuentes en un almacén de datos único y consistente, que luego se carga en un almacén de datos para su análisis. . Sin embargo, la mayoría de los ingenieros de datos dicen que transformar datos de fuentes dispares puede ser una tarea difícil y que requiere mucho tiempo porque el proceso implica pasos como limpiar, filtrar, remodelar y resumir datos sin procesar.

Otro problema es el costo adicional de mantener equipos para preparar canales de datos para ejecutar análisis, dijo AWS. Por el contrario, estas integraciones ETL cero, según la empresa, eliminan la necesidad de realizar ETL entre Aurora PostgreSQL, DynamoDB, RDS para MySQL y RedShift, porque los datos transaccionales de estas bases de datos se pueden replicar en RedShift casi de inmediato y están listos para ejecutar análisis. . Actualmente, estas tres integraciones están en versión preliminar.

Se generaliza la integración de DynamoDB zero-ETL con el servicio OpenSearch

El año pasado, AWS anunció dos características: la integración zero-ETL de Amazon Aurora con Amazon Redshift y la integración de Amazon Redshift para Apache Spark. Además, el proveedor de servicios en la nube ha generalizado la integración de DynamoDB zero-ETL con OpenSearch Service. Esta integración permitirá a las empresas de datos buscar sus datos de DynamoDB replegándolos y transformándolos automáticamente sin código ni infraestructura personalizados, dijo AWS.

Tenga en cuenta que la integración zero-ETL de DynamoDB con OpenSearch Service se puede utilizar en todas las regiones de AWS donde OpenSearch Ingestion está disponible actualmente, agregó AWS.