AWS acelera las solicitudes de RedShift con su Aqua / FPGA Duo

Desde el lanzamiento de Redshift de AWS en 2012, el panorama del almacenamiento de datos en la nube se ha visto sacudido por la llegada de Snowflake, que ha ganado un fuerte apoyo en un mercado donde también encontramos Azure SLQ DW, Google's Big Query, Autonomous DW Oracle o el Oferta de Databricks. Para ampliar su solución, la subsidiaria en la nube de Amazon ha estado preparando durante un año una función de caché distribuida acelerada por hardware diseñada para impulsar el rendimiento de las consultas en Redshift. En el lado del hardware, esta opción se basa en instancias de Nitro y chips de aceleración FPGA. Aqua, el acelerador de consultas avanzado, que se proporcionó en una vista previa en diciembre, ahora está disponible en su versión final en varias regiones de la nube de AWS, incluidas Europa, Irlanda y Frankfurt, Estados Unidos y Tokio.

Aqua lleva recursos informáticos a la capa de almacenamiento para eliminar el movimiento de datos que pasan a través de la red entre la ubicación donde se almacenan y los clústeres informáticos. La aceleración así aportada al rendimiento de las solicitudes puede llegar hasta un factor de 10, asegura AWS. Esta funcionalidad de almacenamiento en caché es accesible en instancias de Redshift RA3 sin costo adicional y sin causar ninguna modificación en el código de la aplicación para los clientes.

Una conexión de banda ancha a S3

En su servicio Redshift, AWS ya afirmó ofrecer una mejor relación precio / rendimiento que sus competidores a través del diseño del hardware utilizado y el uso del aprendizaje automático. En una publicación publicada esta semana, Jeff Barr, evangelista jefe del proveedor de la nube, recuerda que Redshift ha tenido nodos RA3 basados ​​en SSD desde finales de 2019, complementados en 2020 con otros nodos que se benefician del ancho de banda de red optimizado y 'otro modelo de datos gestión con colocación automática de datos en el nivel apropiado. Con estos nodos RA3, es posible montar hasta 32 PB de datos en un solo almacén de datos. Pero los avances en el rendimiento del almacenamiento en comparación con las CPU han llevado a la búsqueda de una solución que supere los factores limitantes de las CPU y la red.

“Hoy estamos haciendo que los nodos ra3.4xl y ra3.16xl sean aún más poderosos con la adición de Aqua”, dice Jeff Barr. Al aprovechar los cachés, Nitro (hardware dedicado combinado con un hipervisor liviano) y chips de aceleración FPGA, Aqua impulsa los requisitos informáticos necesarios para reducir y agregar consultas más cerca de los datos, proporcionando la mejora de rendimiento mostrada. . A esto se suma el uso de una conexión de alta velocidad al servicio de almacenamiento S3. “Los beneficios se entregan de varias formas”, explica Jeff Barr. "Cada nodo realiza las operaciones de reducción y agregación en paralelo con los demás. Además de obtener la aceleración proporcionada por el paralelismo, la cantidad de datos que deben ser enviados y procesados ​​por los nodos de cómputo es generalmente mucho menor, a menudo un 5% en comparación con el original ”. Los clientes de Redshift que ya están usando nodos ra3.4xl o ra3.16xl para su almacén de datos en la nube pueden comenzar a aprovechar Aqua en minutos, dice el evangelista jefe. Simplemente active Aqua para los clústeres y reinícielos.