HPE lanza servidor perimetral para inferencia de IA

A finales de este mes, HP Enterprise entregará lo que bien podría ser el primer servidor dirigido específicamente a la inferencia de IA para el aprendizaje automático. El proceso de aprendizaje automático tiene dos etapas: una etapa de entrenamiento y una etapa de inferencia. El aprendizaje implica el uso de las potentes GPU u otros chips de alto rendimiento de Nvidia y AMD para "enseñar" al sistema de IA qué buscar, como el reconocimiento de imágenes. La inferencia responde si el sujeto coincide con los modelos entrenados. Pero una GPU es excesiva para esta tarea, y una CPU mucho menos potente puede ser suficiente. Si el EL8000 está equipado con un procesador central de tipo Intel Xeon Scalable, también alberga los chips Cloud AI100 de Qualcomm, que satisfacen por completo las necesidades de la inteligencia artificial en la periferia. Cuenta con hasta 16 "núcleos AI" y admite formatos de datos FP16, INT8, INT16, FP32, todos utilizados para inferencia. Estos no son procesadores ARM personalizados, sino SoC completamente nuevos, diseñados específicamente para la inferencia.

Las cargas de trabajo de inferencia suelen ser de mayor escala y, por lo general, requieren baja latencia y alto rendimiento para ofrecer resultados en tiempo real. En formato 5U (8,4 pulgadas), este servidor incorpora hasta cuatro blades independientes (ProLiant e910 y e920 1U) agrupados mediante conmutadores integrados en el chasis redundante doble. Su hermano pequeño, el HPE Edgeline EL8000t, es un sistema 2U. Admite dos blades independientes (ProLiant e910 y e920 2U).

Dos formatos para el chip AI100 de Qualcomm

Además de su rendimiento, el chip Cloud AI100 consume poca energía. Está disponible en dos factores de forma: una tarjeta PCI Express o dos chips M.2 montados en la placa base. La tarjeta PCIe cuenta con una envolvente térmica de 75 vatios, mientras que las dos unidades M.2 consumen 15 o 25 vatios. Un procesador común consume más de 200 vatios y una GPU más de 400 vatios. Qualcomm dice que su chip Cloud AI 100 es compatible con los principales formatos de modelos estándar de la industria, incluidos ONNX, TensorFlow, PyTorch y Caffe. Estos modelos se pueden importar y preparar a partir de modelos previamente entrenados que se pueden compilar y optimizar para su implementación. Qualcomm tiene las herramientas para migrar y preparar modelos, incluida la compatibilidad con operaciones personalizadas.

Según Qualcomm, el chip Cloud AI100 está dirigido al sector industrial y de fabricación, y sectores con necesidades de IA en el borde. Este es el caso, por ejemplo, de la visión artificial y el procesamiento del lenguaje natural (PNL). Para la visión artificial, esto puede incluir el control y la garantía de calidad en la fabricación, la detección de objetos y la videovigilancia, y la prevención y detección de pérdidas. Para el procesamiento del lenguaje natural, esto incluye la generación de código de programación, las operaciones del asistente inteligente y la traducción de idiomas. Los servidores Edgeline estarán disponibles para compra o alquiler a través de HPE GreenLake a finales de este mes.