Funciones de integración de datos en Azure ML

Se enriquece la oferta en la nube de Microsoft dedicada al aprendizaje automático para el desarrollo y entrenamiento de modelos algorítmicos. El proveedor acaba de presentar funciones adicionales de integración de datos. Amar Badal, senior manager de Azure Machine Learning detalla así en un blog la llegada de “una interfaz de línea de comandos (CLI) para importar datos y un kit de desarrollo de software (SDK) que permite proporcionar datos desde repositorios de datos externos a la plataforma como como Snowflake o AWS S3". La CLI es una interfaz de usuario basada en texto que se puede utilizar para consultar archivos, ejecutar programas e interactuar con una instancia de computadora o un servidor.

El mantenedor señala que “la CLI y el SDK se pueden usar, por ejemplo, para crear una conexión entre la instancia de Snowflake y Azure ML”. Agrega que un científico de datos podría consultar la conexión para extraer los datos requeridos en el servicio de aprendizaje automático. "Si el escenario requiere la importación de datos en un horario, se pueden usar patrones de recurrencia o cron populares para establecer la frecuencia de importación". los crones [des petits scripts, NDLR] son utilidades capaces de programar tareas repetitivas en un momento específico ingresando un conjunto de comandos en una CLI.

Un enfoque diferente a Snowflake

Según Tony Baer, ​​analista principal de dbInsights, estos anuncios de integración están destinados a ayudar a los científicos de datos a mejorar su productividad y acortar sus ciclos de desarrollo de productos o capacitación de modelos. Doug Henschen, analista principal de Constellation Research, reconoció que las herramientas serán útiles para los científicos de datos en particular y señaló que "cualquier empresa que use Snowflake en Azure se beneficiará de otra opción bien integrada para hacer ciencia de datos con datos administrados en Snowflake".

Los analistas dicen que la integración de Microsoft adopta un enfoque diferente al aprendizaje automático que el de Snowflake. El editor ofrece Snowpark, diseñado para permitir que los desarrolladores apliquen sus herramientas favoritas en modo sin servidor en el almacén de datos en la nube de Snowflake. “Azure ML no ha seguido el camino de Snowpark. En cambio, Microsoft dice que siga adelante e importe datos de Snowflake y los procese en nuestro entorno, en lugar de implementar las funciones de Azure ML como funciones definidas por el usuario (UDF). ) en el Parque de Nieve. Esto no tiene precedentes, ya que el socio de Snowflake, H2O, ha adoptado un enfoque similar”, explica Tony Baer.

Una característica de la gestión del ciclo de vida

Junto con la integración de la CLI y el SDK, que aún se encuentra en versión beta pública, Microsoft ha introducido una función de administración del ciclo de vida en el almacén de datos administrado de Azure ML, denominado "Hosted on Behalf of" o almacén de datos HOBO. Incluye en particular “se define una política de eliminación automática de datos importados si no se utilizan durante 30 días por un trabajo para cada dato importado en el almacén de datos administrado por AzureML. Simplemente configure azureml://datastores/workspacemanagedstore como la ruta al definir la importación y AzureML se encargará del resto”, concluye Amar Badal.

Según Doug Henschen, esta función es crucial para el desarrollo, actualización y reemplazo de modelos de aprendizaje automático. La función de gestión del ciclo de vida también se encuentra en versión preliminar pública, dijo Microsoft.