“Simplificar y escalar el desarrollo, la operacionalización y el consumo de modelos de ML dentro de la empresa; dar vida a la IA y el ML con experiencias familiares para los desarrolladores; poner la IA generativa en manos de cada usuario para obtener valor de los datos empresariales de forma rápida y segura; ampliar el alcance de las cargas de trabajo que se ejecutan en Snowflake: compilar en cualquier idioma, lograr flexibilidad de instancias, incluso con GPU, y ejecutar de forma segura servicios líderes de terceros”. Estos son, en pocas líneas, los objetivos que persigue Snowflake.
Su plataforma, que gira cada vez más en torno a la IA generativa y los LLM, ahora integra soluciones en torno al desarrollo y las operaciones de ML de un extremo a otro, en particular gracias a la API de modelado Snowpark ML (pronto disponible para todos), Feature Store (en versión beta privada) y Snowpark. Container Services (próximamente en beta pública), así como una solución dedicada a la experiencia del desarrollador, Notebooks (en beta privada). También está surgiendo una plataforma para LLM e IA generativa. Llamado Cortex, pronto ofrecerá funciones especializadas y funciones generales. Finalmente, Snowflake está aumentando la cantidad de soluciones impulsadas por LLM; Ya conocíamos Document AI presentado el pasado mes de junio, ahora se le unen Copilot y Universal Search, dos servicios también en beta privada.
Una descripción general de las funciones de IA generativa y LLM en Snowflake. (Crédito: Copo de nieve)
Centrarse en Cortex, un servicio dedicado a la IA
"Un servicio totalmente gestionado que alberga modelos de IA, LLM y funciones vectoriales de última generación". Según el anciano de Neeva, Sridhar Ramaswamy (adquirido por Snowflake en mayo de 2023) y cuyo título es vicepresidente senior de IA, Cortex, actualmente en versión preliminar privada, proporciona a las empresas los componentes básicos necesarios para utilizar LLM e IA sin requerir ninguna experiencia en la gestión de una infraestructura compleja basada en GPU. El servicio administrado también incluye funciones sin servidor, que se pueden llamar usando código SQL o Python, para garantizar que los usuarios de cualquier nivel puedan acceder a estas funciones para analizar datos o crear aplicaciones basadas en la IA, agrega. "Para cualquier texto de entrada determinado, estos modelos pueden detectar sentimientos, extraer una respuesta, resumir el texto y traducirlo a un idioma seleccionado", dijo la compañía. Agrega que también están disponibles las funciones existentes basadas en ML, como pronóstico, detección de anomalías y un explorador de contribuciones y clasificación.
Otros servicios también incluidos en Cortex incluyen un modelo de texto a SQL e incrustación de vectores, así como una función de búsqueda basada en sus propios modelos base y modelos de código abierto. Cortex es, para Snowflake, una forma de ofrecer a las empresas una oferta que agilice el desarrollo de aplicaciones, casos de uso, modelos de IA y ML y modelos básicos de Snowpark. También es una forma de responder a la competencia, concretamente AWS RedShift, Google BigQuery y ClearScape Analytics de Teradata.
Búsqueda universal y asistente impulsado por IA entre las nuevas funciones
La firma también indica que “Cortex aporta potentes capacidades de búsqueda semántica e inteligencia artificial a la plataforma Snowflake”. Estas son tres funciones adicionales actualmente en beta privada: Documento de IA (que ya no es necesario presentar), Universal Search y Copilot, todos los cuales utilizan LLM de código abierto o LLM patentados de Snowflake como base. Con Universal Search, los usuarios tienen acceso a la búsqueda basada en LLM que proporciona un acceso rápido a datos y aplicaciones. Basado en la tecnología de motor de búsqueda adquirida de Neeva, Universal Search ayuda, por ejemplo, a encontrar objetos de bases de datos en su cuenta Snowflake. "Con la versión inicial, podrá encontrar tablas, vistas, bases de datos, esquemas, productos de datos de Marketplace y artículos de documentación de Snowflake", explica la empresa.
Por su parte, Copilot (otro) es un asistente impulsado por LLM para generar y refinar consultas SQL en lenguaje natural. Por ejemplo, los analistas pueden hacerle una pregunta a Copilot, quien escribirá una consulta SQL utilizando las tablas relevantes. Los usuarios también pueden refinar las consultas durante la conversación para filtrar la información más relevante para la tarea. No es necesaria ninguna configuración. Además, esta función de conversión de texto a código pronto se programará a través de una función general, Text2SQL, con Cortex, especifica Snowflake. Tenga en cuenta que este Copilot también aprovecha la búsqueda universal para identificar tablas y columnas relevantes para la generación de SQL.
Ejemplo de uso de Snowflake Copilot. (Crédito: Copo de nieve)
Interfaces de desarrollo y funciones de ML para Snowpark
Junto con estos anuncios, Snowflake presentó herramientas, la mayoría de ellas en vista previa, incluidas Notebooks, Snowpark ML Modeling API y Snowpark ML Operations. Notebooks es un conjunto de interfaces de desarrollo que proporciona un entorno de programación interactivo basado en células compatible con Python y SQL. “Las computadoras portátiles integradas de Snowflake permiten a los desarrolladores escribir y ejecutar código, entrenar e implementar modelos usando Snowpark ML, visualizar resultados usando gráficos Streamlit y más. otros casos de uso”, dijo la compañía.
La API de modelado de ML de Snowpark ayuda a los desarrolladores y científicos de datos a ampliar la ingeniería de funciones y simplificar el entrenamiento de modelos mediante la implementación de marcos de IA y ML de forma nativa en los datos de Snowflake. Además, el proveedor agrega funciones a Snowpark ML Operations, incluido un Registro de modelos actualizado y un almacén de funciones integrado, que crea, almacena, administra y ofrece capacidades de aprendizaje automático para capacitación e inferencia. modelos. Tenga en cuenta que la Tienda de funciones se encuentra actualmente en versión preliminar privada.
Finalmente, para impulsar una mayor automatización en las operaciones de desarrollo de aplicaciones y canales de datos, la compañía está agregando una función, llamada Gestión de cambios de base de datos, que debería estar disponible para pruebas pronto. "Con esta característica, los desarrolladores pueden codificar de forma declarativa y modelar fácilmente su trabajo para administrar objetos Snowflake en múltiples entornos", dice.
Otras noticias que te pueden interesar