En vivo desde Las VegasEl primer día del evento Dell World fue El bloque de infraestructura de AI Factory ocupa un lugar de honorEl segundo se centró en otro aspecto: el ecosistema abierto. Michael Dell explicó en una rueda de prensa que "el mundo de los LLM sigue evolucionando hacia modelos más pequeños y personalizados, algunos son propietarios y ahora están avanzando hacia el código abierto, otros están empezando a serlo". Y hay que recordar que "un LLM no tiene ningún valor si no se confronta con el mundo real (N.D.: es decir, con los datos de la empresa)". El hecho es que las empresas se enfrentan a la cuestión de elegir el modelo adecuado.

Índice
  1. Llama 3 de Meta y Hugging Face para LLM locales
  2. El proyecto Helix migra a IA Factory

Llama 3 de Meta y Hugging Face para LLM locales

En este contexto, Dell Technologies quiere ayudarles a través de colaboraciones con una integración más profunda. Es el caso de Meta y su último modelo Llama 3. Las dos empresas ya han trabajado juntas para llevar Llama 2 al modo local para los clientes de Dell. Para Jeff Clarke, director de operaciones de Dell Technologies, "el objetivo es llevar la IA a sus datos" y recordar que "el 83% de los datos de las empresas están in situ". En el escenario, Sy Choudhury, director de colaboraciones de IA en Meta, elogió los méritos de su modelo, "alta precisión y mejor razonamiento" y está trabajando en varios ejes con Dell "entrenamiento, optimización, puesta a punto y seguridad". Por su parte, el fabricante texano proporciona guías de implementación y pruebas de rendimiento.

Meta y Dell trabajan en conjunto para llevar Llama 3 al sitio a través de AI Factory. (Crédito de la foto: JC)

La otra asociación es con Hugging Face, la startup franco-estadounidense que desarrolla herramientas para crear aplicaciones utilizando modelos de inteligencia artificial (IA) de código abierto y aprendizaje automático. Las dos empresas han estado trabajando juntas desde finales de 2023. Dell ha anunciado la creación de un portal denominado "Hugging Face Dell" que incluye contenedores y scripts dedicados a la inferencia y al desarrollo de modelos de IA generativos. Este portal ahora tiene el nombre de "Dell Enterprise Hub" y, según Jeff Boudier, director de productos de Hugging, permite "realizar entrenamiento, inferencia y ajustes finos sin modificar el código". Cabe destacar que estos dos acuerdos no son exclusivos, precisa Matt Baker, vicepresidente sénior a cargo de la estrategia de IA en Dell, "también trabajamos con Mistral, Falcon y con Microsoft en modelos no cautivos". Por lo tanto, se esperan otros anuncios de asociaciones en los próximos meses.

Jeff Boudier, gerente de productos de Hugging Face, hizo una demostración del Dell Enterprise Hub. (Crédito de la foto: JC)

El proyecto Helix migra a IA Factory

En el paquete de alianzas no podemos olvidarnos de Nvidia. En 2023Las dos empresas habían colaborado en el proyecto Helix. Dell se ha comprometido a proporcionar una plataforma de software y hardware local que las empresas puedan utilizar para entrenar su propio modelo con sus datos. En su cartera, Dell trajo servidores PowerEdge (en particular, XE9680 y R760 xa) optimizados para proporcionar rendimiento para el entrenamiento y la inferencia de IA generativa. La contribución de Nvidia abarca las GPU H100 Tensor Core y los componentes de red, así como la suite de software de IA que incluye NeMo LLM y NeMo Guardrails para crear chatbots seguros.

Unos meses después, "el panorama de la IA ha cambiado un poco", observa Jeff Bourdeau, director de IA de Dell. El proyecto Helix era un experimento "muy centrado en el entrenamiento de modelos", explica el ejecutivo antes de añadir que hoy en día, "hay necesidades de inferencia y RAG (recuperación de generación aumentada) para satisfacer las necesidades del negocio”. Por este motivo, el proyecto Helix se ha incorporado a IA Factory. El trabajo conjunto no se pierde y se actualiza con los últimos desarrollos de hardware y software. En la parte de inferencia en particular, Nvidia destaca NIM (Nvidia Inference Microservices) y en RAG, Dell ofrece la solución Accelerator Services for RAG en las estaciones de trabajo Precision que se basa en la plataforma de desarrollo Workbench de Nvidia.