Twitter elige Google Cloud para su inteligencia artificial y procesamiento de datos

Twitter y Google Cloud están fortaleciendo sus vínculos. Después de haber migrado en 2018 sus clústeres de Hadoop (más de 300 PB de datos repartidos en decenas de miles de servidores) y su almacenamiento de datos en frío en la plataforma en la nube de Google, Twitter, va aún más lejos. Por lo tanto, el sitio de microblogs ha anunciado que trasladará su procesamiento de datos y análisis, así como sus cargas de trabajo de aprendizaje automático a la nube de datos de la compañía de Mountain View.

Detrás de esto, el objetivo es ampliar su capacidad para analizar datos más rápido y mejorar la experiencia del usuario. “Estamos encantados de ampliar nuestra asociación estratégica con @googlecloud. Esto permitirá que más equipos de Twitter obtengan una visión más rica y rápida de cómo las personas utilizan nuestro servicio para que podamos mejorar el producto y recomendar contenido más relevante ”, dijo - necesariamente en un tweet - CTO de Twitter, Parag Agrawal.

BigQuery, Dataflow y Cloud Bigtable en el juego

Para procesar esta masa de información, la plataforma de datos de Twitter ingiere billones de eventos, procesa varios cientos de PB de datos y ejecuta decenas de miles de tareas en más de diez clústeres todos los días. A través de la asociación concluida durante varios años, pero la cantidad de la cual no se ha comunicado, Twitter adoptará varias soluciones, incluidas BigQuery, Dataflow, Cloud Bigtable y las herramientas ML de Google Cloud. “En el pasado, los ingenieros y científicos de datos solían desarrollar grandes trabajos de procesamiento de datos personalizados, que ahora se pueden consultar más rápido con SQL en BigQuery. Esto facilitará que los equipos técnicos y no técnicos estudien los datos ”, dijo Google Cloud en un comunicado.

"Nuestra plataforma no tiene servidor y podemos ayudar a empresas como Twitter a escalar automáticamente la carga hacia abajo o hacia arriba", dijo a TechCrunch Sudhir Hasbe, director de análisis de datos y productos de Google Cloud. “Twitter puede traer grandes cantidades de datos, analizar y obtener información sin tener que preocuparse por la infraestructura o la gestión de la capacidad o cuántas máquinas o servidores podrían necesitar”, dijo. -él añade. "Nada de esto es su problema".