El otoño pasado, la procrastinación dentro de OpenAI (Éviction de Sam Altman antes de su regreso 48 horas después) mostró ciertas compañías los riesgos potenciales de depender de un solo proveedor en términos de IA generativa. Desde entonces, varias empresas grandes o pequeñas han desarrollado modelos de código abierto, ofreciendo alternativas menos costosas o más especializadas. Además, las limitaciones regulatorias y las preocupaciones de seguridad están impulsando a ciertas compañías a ejecutar su IA en su propia infraestructura en Prem o en nubes privadas que controlan completamente. Por todas estas razones, algunas compañías están recurriendo a plataformas de terceros que evitan el bloqueo de una IA o un proveedor de nube específico. En el género, VMware, ahora propiedad de Broadcom, es un buen candidato.
Un primer paso con nvidia concluyente
Durante el evento VMware Explore, Broadcom ha hecho que la opción sea aún más atractiva al anunciar la gestión de una nueva tienda de modelos para la Fundación de IA privada con la oferta de NVIDIA en VCF (VMware Cloud Foundation). Disponible para todos desde el pasado mayo, la plataforma común a los dos proveedores, ya utilizados por varios clientes, incluida la cooperativa de crédito federal del Senado de EE. UU., Apoya los modelos, las herramientas y el marco de NVIDIA. "Creemos que la IA tiene mucho servicio al cliente, ya sea para proporcionar a nuestro personal interno respuestas a través de chatbots suministrados por una base de conocimiento, que para responder preguntas financieras de nuestros miembros, cualquiera que sea la terminal que usan para sus operaciones bancarias", dijo Mark Fournier, DSI de la cooperativa de crédito federal del Senado de los Estados Unidos, en un comunicado de prensa. "La IA privada que opera en VCF nos traerá un valor agregado considerable al permitirnos funcionar ajustando las prácticas que hemos seguido durante años en un entorno de nube privada".
Cuando su versión inicial, la plataforma común es capaz de implementar aplicaciones generativas de IA e incluye una base de datos vectorial para que las empresas puedan usar la generación aumentada de recuperación (generación de recuperación aumentada, RAG) para que su IA generativa proporcione respuestas más precisas y recientes. "Nos faltaba un gerente de la tienda de modelos", dijo Paul Turner, vicepresidente de productos de la División VMware Cloud Foundation en Broadcom. Gracias a este módulo, las empresas pueden poner a disposición de sus desarrolladores una selección de modelos de IA, así como controles de acceso a estos modelos. "También pueden asegurarse de que nadie use grandes modelos de lenguaje que no deseen cuidar", continuó el Sr. Turner. "De hecho, es difícil saber de dónde proviene un LLM en Internet, o en su origen, y con el gerente, podemos administrar la LLM para su base de usuarios y supervisar su trabajo de innovación en torno al AI generativo.» »
Abrazando la cara, meta, google y mistral en la tienda de modelos
Los clientes de VMware pueden usar modelos NVIDIA AI, así como abrazar modelos faciales y otros socios, incluido el modelo LLAMA 3 de Meta's Meta y Google y Mistral. "Todo lo que Nvidia se encarga, lo cuidamos", dijo Turner. Además de esta tienda de modelos, Broadcom ha anunciado otras características, incluidas herramientas para asegurar modelos con controles de acceso integrados, un flujo de trabajo de implementación racionalizado y flujos de trabajo de IA de referencia para casos de uso especializados como servicio al cliente, descubrimiento de medicamentos y datos de PDF.
VMware Cloud Foundation también se beneficia de mejoras, como reducir el número de consolas de gestión para aprovisionar los servicios a una sola consola para operaciones y automatización. La plataforma está dotada de una capacidad de nivel de memoria NVME y acelerará las deliciosas aplicaciones de datos como IA, bases de datos y análisis de tiempo real. Finalmente, tiene funciones de seguridad, incluida la gestión de seguridad unificada en varias implementaciones de VMware Cloud Foundation.
Sin embargo, Broadcom aún no ha indicado cuándo se entregaría VMware Cloud Foundation 9 con todas estas características. "Por el momento, se trata de elaborar la orientación futura de VMware Cloud Foundation y nuestra hoja de ruta para VMware Cloud Foundation 9", dijo Pashants Shenoy, vicepresidente de marketing producido para la división VCF de Broadcom.
Otras noticias que te pueden interesar