Para apoyar el desarrollo de la IA, Hewlett Packard Enterprise y Dell Technologies presentaron servidores destinados a la capacitación de modelos de idiomas grandes (LLM). En particular, HPE entregará un servidor de cómputo de cómputo XD685 basado en los últimos procesadores EPYC de 5mi AMD Generación y Accadentes Instinct MI325X. El XD685 se corta para el tratamiento del lenguaje natural, LLM y la capacitación multimodal de IA. Su chasis modular 5U es compatible con muchas combinaciones de CPU y GPU, e incluye aire y enfriamiento de líquido directo. El Compute XD685 proliant admite hasta ocho aceleradores Instinct MI325X con un ancho de banda de memoria de 6 TBPS. La GPU instinto tiene una memoria compartida HBM3E, lo que permite tratar todas las tarjetas como un solo grupo de memoria. Por lo tanto, se necesita menos tarjetas para alcanzar el mismo nivel de rendimiento, lo que reduce el costo total de posesión. El otro activo del XD685 es su serie de servicios, proporcionados por HPE Services, para el establecimiento de grandes grupos de inteligencia artificial. Incluyen la configuración, validación y asistencia a las pruebas para reducir los plazos de implementación. La seguridad es proporcionada por Home Integrated Lights Out Technology (OLO), que proporciona una producción de nivel integrada en el Silicon Compute XD685 está disponible para pedido y generalmente estará disponible en el primer trimestre de 2025.

El proliant XD685 se corta para el tratamiento del lenguaje natural, LLM y el entrenamiento multimodal de IA. (Crédito HPE)

Varios productos de cálculo y almacenamiento para Dell

Por su parte, Dell Technologies continúa expandiendo su vasta cartera de soluciones generativas de IA con una serie de productos bajo los auspicios de Dell Ai Factory. En particular, el proveedor enriquece su rango con varios servidores PowerEdge, comenzando con el XE9712 que ofrece una aceleración densa y eficiente para la capacitación de LLM e inferencia de tiempo real de implementaciones de IA a gran escala. El XE9712 puede acomodar hasta 36 CPU Grace y 72 GPU Blackwell (GB200 NVL72). Los aceleradores están conectados a través del protocolo NVLINK, que actúa como una sola GPU para la inferencia LLM de tiempo real hasta 30 veces más rápido con billones de parámetros.

El Texan también presentó el PowerEdge M7725, adaptado al cálculo denso de alto rendimiento, ideal para la investigación, administraciones gubernamentales, FinTech y educación superior, según Dell. El M7725 puede evolucionar entre 24,000 y 27,000 núcleos por estante, con 64 o 72 nodos con dos enchufes en procesadores EPYC AMD de 5mi generación. Incluye enfriamiento de líquido directo y por aire. Además de este servidor de cálculo, Dell ofrece almacenamiento de escala y gestión de datos a través de sus dispositivos Powerscal Bay para mejorar el rendimiento de las aplicaciones de IA y simplificar la gestión de datos globales. La última escala de PowerS tiene un acceso más rápido a los metadatos y el descubrimiento de Data Lakehouse, mientras que los SSD de 61 TB aumentan la capacidad al tiempo que reducen la mitad de la huella de carbono en el centro de datos. PowerScale también está enriquecido con capacidades infinibandes y la gestión de adaptadores Ethernet 200GBE que ofrecen una velocidad hasta un 63 % más rápida. Para montar este hardware, Dell presentó el rack integrado 7000 (IR7000), que responde a solicitudes de cálculo aceleradas con mayor densidad, gestión de alimentación más sostenible y tecnologías de enfriamiento avanzadas. Se basa en los estándares de proyecto de cómputo abierto (OCP). La rejilla IR7000 ha sido diseñada para enfriamiento líquido y es capaz de enfriar futuras implementaciones de hasta 480kW. Según Dell, el IR7000 puede capturar casi el 100 % del calor producido.