Los especialistas de CDN (red de entrega de contenidos) tienen una carta que jugar en IA. Cloudflare es uno de estos actores y acaba de presentar diferentes herramientas para construir, implementar y operar modelos de IA. La primera parte es el marco Workers AI, que se basa en aceleradores de IA basados en GPU (a través de instancias sin servidor) en la red del proveedor. Gracias a este marco, los sistemas de IA que dependen en gran medida de la latencia podrán ejecutar cargas de trabajo en modo perimetral, lo más fielmente posible. La firma agrega que este marco es capaz de separar los datos de inferencia y de entrenamiento, asegurando que la información no sea mal utilizada.
Vectorizar para vectorizar y Gateway para monitorear
Segunda parte de la iniciativa de Cloudflare, la base de datos vectorial Vectorize. Con él, los desarrolladores pueden crear aplicaciones basadas en IA desde cero en los sistemas del proveedor de CDN. Funciona en conjunto con la red subyacente de Cloudflare, acercando aún más el entorno de ejecución al usuario final. Finalmente, como Vectorize está integrado con Workers AI, los usuarios podrán generar incrustaciones (extensiones léxicas) en Workers AI e indexarlas en Vectorize.
La parte final de la iniciativa es el sistema de optimización y gestión del rendimiento AI Gateway, que proporciona observabilidad de las aplicaciones de IA que se ejecutan en la red Cloudflare. "AI Gateway proporciona datos como el número y la duración de las solicitudes, los costos de ejecución de las aplicaciones y el número de usuarios, así como opciones de reducción de costos, como limitar las solicitudes y almacenar en caché las respuestas a consultas comunes", explica la compañía.
Asociaciones
El proveedor también anunció colaboraciones con Microsoft, Databricks y la startup Hugging Face. La firma de Redmond aporta su tiempo de ejecución ONNX para la continuidad de los modelos de IA en la nube, el borde o el uso en una terminal, mientras que la asociación con Databricks proporciona acceso a su plataforma MLflow de código abierto para el aprendizaje automático de gestión de ciclos. La red de Cloudflare será la primera de su tipo en permitir a los clientes implementar los potentes modelos de IA generativa de Hugging Face en un entorno sin servidor impulsado por aceleradores de IA.
Matthew Prince, cofundador y director ejecutivo de Cloudflare, dijo que las ofertas representan una expansión importante de la plataforma de desarrollo de la compañía y el objetivo es hacer que la "infraestructura de inferencia" sea accesible para todos los clientes potenciales. . Según el ejecutivo, la red es el lugar ideal para hacer funcionar la IA. "Ya hemos visto interés por parte de empresas que intentan abordar este desafío específico de ofrecer experiencias poderosas sin sacrificar la duración de la batería o la latencia", dijo. "Dicho esto, a medida que los LLM y la IA se vuelven parte de cada aplicación, creemos que Cloudflare es ideal para potenciarlas al facilitar el trabajo de los desarrolladores". Todas las funciones anunciadas están disponibles de inmediato. Los precios se basarán principalmente en el uso, con diferentes esquemas para Workers, Vectorize y AI Gateway. “Vectorize será gratuito hasta 2024”, especificó también Matthew Prince.
Otras noticias que te pueden interesar