“Somos una empresa que desarrolla principalmente software de código abierto y nuestro producto estrella se llama SQL Mesh”, nos dijo Tobias Mao, cofundador y CTO de Tobiko Data, en un reciente IT Press Tour en Silicon Valley. SQLMesh es un marco que permite a los científicos de datos y administradores construir canales adecuados y eficientes. La respuesta a un problema al que se enfrentan muchos desarrolladores: “Los datos son muy importantes para impulsar las aplicaciones, pero el panorama de datos actual es particularmente desordenado, muchos datos no son confiables o simplemente son incorrectos”, explica el CTO. “Tienes un grupo de analistas escribiendo código espagueti inmantenible, no tienes idea de lo que está sucediendo, los controles y equilibrios en torno a los datos son muy inmaduros, lo que causa muchos problemas con la precisión de los datos, y hay muchas interrupciones de datos que perjudican la eficiencia”.

SQLMesh ayuda a los desarrolladores a crear canales de datos fiables con herramientas integradas para la transformación, prueba y colaboración de datos. Y gracias a la biblioteca de análisis SQLGlot, que Tobias Mao creó mientras trabajaba en Airbnb, SQLMesh entiende SQL, en lugar de tratarlo como un fragmento de texto. “SQLMesh se diseñó desde cero para entender lo que escribes. Por ejemplo, SQLMesh puede entender la dependencia de todas tus consultas SQL simplemente analizando el código SQL; no necesitamos etiquetas personalizadas ni nada por el estilo”, afirma Mao. Esta capacidad de entender SQL desbloquea una serie de cosas, lo que aumenta significativamente la velocidad de desarrollo y la productividad de ingeniería. Esta herramienta permite a Tobiko Data verificar la sintaxis de las consultas SQL antes de enviarlas a la base de datos. También ayuda a categorizar y rastrear todos los cambios que realizan los codificadores durante el proceso de desarrollo y les permite saber si son incompatibles con otros conjuntos de datos. “Nunca entregamos datos incorrectos porque entendemos lo que significa SQL, lo que SQL calculó, qué datos deben leerse”, asegura el CTO.

Tobiko Data ofrece a las empresas la posibilidad de crear entornos de datos virtuales que los programadores pueden utilizar durante la fase de desarrollo y luego reutilizar para otros proyectos o incluso en producción. (Crédito: Tobiko Data)

Un entorno virtual para acelerar proyectos

La otra pieza clave de SQLMesh es el dominio de los entornos de datos virtuales. “La forma en que funciona SQLMesh es, imagina que tienes modelos de datos para modelar un proyecto muy simple. SQLMesh tendrá dos capas. La primera es la capa física. Ahí es donde se almacenan todas las tablas reales”. La capa virtual es donde realmente interactúas con los datos y la capa virtual son solo vistas que apuntan a las capas físicas. Entonces, cuando creas un entorno de desarrollo, SQLMesh entiende que tu entorno de desarrollo es un clon exacto de producción. Por lo tanto, creará vistas que apuntan a las mismas tablas físicas. Las herramientas tradicionales, que la mayoría de los desarrolladores usan hoy, no hacen eso, pero duplican el almacenamiento utilizado para simplemente tener producción en un lado y desarrollo en el otro. Cuando se le pregunta sobre la competencia de almacenes de datos como Snowflake o Databricks, Tobias Mao simplemente responde que SQLMesh es más un complemento que un competidor de Snowflake o Yellowbrick. “SQLMesh te permite saber qué está sucediendo antes de lanzar consultas, de manera muy similar a lo que hace Terraform con las infraestructuras”, lo que ayuda a evitar errores muy costosos con las plataformas en la nube.

Creada hace 18 meses, Tobiko Data se beneficia de la amplia experiencia de sus fundadores, que han trabajado en Apple, Airbnb, Google y Netflix. Entre los clientes de la start-up, Tobias Mao enumera un estudio de videojuegos, una empresa de datos, una institución financiera, un editor de software... "Así pues, cualquiera que tenga datos, con muchos desarrolladores que puedan utilizar SQLMesh. En esta fase inicial, diría que nuestro principal objetivo es el ingeniero de datos". Disponible en código abierto, SQLMesh se puede utilizar de forma gratuita, pero el editor acaba de lanzar SQLMesh Enterprise, una versión de pago con soporte y una plataforma de observabilidad completa. No solo avisa a los desarrolladores de que algo ha ido mal con sus datos, sino que también explica por qué. Precisemos para concluir que Tobiko Data acaba de cerrar una ronda de financiación de 21,8 millones de dólares para financiar su desarrollo.