Recientemente lanzado por el proveedor de modelos de IA generativos y puntos de referencia, abrazar los servicios generativos de IA generativos, o abrazos, es actualmente la única alternativa posible a Nimo (microservicios de inferencia de NVIDIA). Recuerde que este último fue presentado en marzo pasado y luego se desplegó en junio con la AI Enterprise de Nvidia Suite. Único en su tipo, facilita la implementación de modelos de IA generativos en cualquier nube o centro de datos integrando motores de inferencia optimizados, API y la gestión de modelos IA personalizados o genéricos en contenedores en forma de microservicios. Si NIM ha despertado los intereses de los desarrolladores, es que es menos tedioso configurar y ejecutar que los marcos y paquetes como VLLM, Tensorrt LLM y LMDePloy, también utilizado para la implementación de modelos básicos de inferencia.

Los abrazos también son microservicios de inferencia optimizados que facilitan y aceleran el desarrollo de aplicaciones de IA. Según la cara de abrazos, los abrazos se construyen utilizando bibliotecas y marcos de código abierto, como la inferencia de generación de texto (TGI) y los transformadores y pueden ejecutar modelos en aceleradores NVIDIA o AMD GPU. "Pronto se agregará la gestión de AWS Inferentia y Google TPU (unidades de procesamiento de tensor)", dijo la compañía. Sin embargo, Su publicación de blog sobre la oferta No menciona la gestión de los equipos Intel.

Índice
  1. Precio y disponibilidad de abrazos
  2. Solo para modelos abiertos

Precio y disponibilidad de abrazos

Una de las principales diferencias entre NIM y abrazos es el precio, lo que sugiere que las empresas pueden ahorrar dinero eligiendo la herramienta alternativa a la de Nvidia. En Google Cloud y AWS, Hugs se factura $ 1 por hora y por contenedor, frente a 1 dólar por hora y por GPU para NIM, a los que se deben agregar las tarifas de licencia de la empresa NVIDIA AI.

Además de AWS y Google Cloud, donde se pueden implementar abrazos a través de AWS y GCP Marketplace, Hugging Face ofrece acceso a través de su plataforma Hub Enterprise, que le permite trabajar con modelos y crear aplicaciones basadas en AI, accesible por precio por 20 dólares HT/User/Month. Por separado, para AWS, la compañía ofrece un período de prueba gratuito de 5 días para que los desarrolladores puedan probar abrazos de forma gratuita. "Hugs también está disponible de forma gratuita a través de DigitalOcean, pero se aplican tarifas de cálculo", dijo la compañía.

Solo para modelos abiertos

Por el momento, los abrazos parecen limitados a modelos abiertos, que no es el caso con NIM. Hugs admite 13 modelos, a saber: Llama-3.1-8b-Instructo, Llama-3.1-70b-Instructo, Llama-3.1-405b-Instructo-FP8, Hermes-3-Lalma-3.1-8b, Hermes-3-Lalma-3.1-70B, Hermes-3-Lalma-3. 1-405b-FP8, Werme-Hermes-2-Mixtral-8x7b-DPO, mixtral-8x7b-instruct-v0.1, Mistral-7b-instruct-v0.3, mixtral-8x22b-distribuye-v0.1, gema-2-27b-it, gema-2-9b-it y Qwen2.5ben2. Alibaba. La página de documentación de abrazos de abrazos especifica que abrazar la cara pronto debe hacerse cargo de modelos como Deepseek, T5, Phi y Command R. Otros modelos multimodales e integración deben agregarse pronto, en particular IDEFICS, LLAVA, BGE, GTE, Micbread, Arctic, Jina y Nomic.

Nvidia dice que NIM admite más modelos, incluidos sus modelos propietarios Nemotron, Cohere Models, A121, Adept, Getty Images, Shutterstock y los modelos abiertos de Google, abrazando la cara, Meta, Microsoft, IA Mistral, AI de estabilidad. Sin embargo, la documentación de NIMS de NVIDIA muestra que NIM está actualmente disponible para modelos como Llama 13B Instruct Code, Llama 34B Instruct Code, Llama 70B Instruct, Llama 2 7B Chat, Llama 2 13B Chat, Llama 2 70B Chat, Llama 3 Swallow 70B Instruct V0.1, LLAMA 3 TAIWAN 70B INSTRUCT, LLAMA 3.1, LLAMA 3.1, LLAMA 3.1. Llama-3.1-8b-Instructo, Llama 3. 1 70B Instructo, LLAMA 3.1 405B Instructo, Meta Llama 3 8B Instructo, Meta Llama 3 70B Instruct, Mistral 7B Instructo V0. 3, instructo de nemo 12b, instructo nemo minitron 8b 8k, instructo de 8x7b mixtral V0.1, MIXTRAL 8X22B INSTRUCT V0.1, NEMOTRON 4 340B INSTRUCT, NEMOTRON 4 340B recompensa e instructo PHI 3 mini 4K.