Para proporcionar a las empresas una forma de desarrollar y proporcionar modelos seguros y cargas de trabajo basadas en la IA, F5 dijo esta semana que iba a trabajar con Intel. Más específicamente, las empresas combinarán las capacidades de gestión de seguridad y seguridad de la suite Nginx más F5 con la caja de herramientas OpenVino y las unidades de procesamiento de infraestructura Intel. El conjunto ofrecerá a los clientes la protección, la escalabilidad y el rendimiento para el desarrollo de inferencias de IA avanzadas, dijeron los proveedores. Nginx Plus es la continuación de seguridad de las aplicaciones F5 que incluye un equilibrador de carga de software, cubierta de contenido, servidor web, puerta de enlace API y proxy de microservicios diseñados para proteger las aplicaciones web y móviles distribuidas. OpenVino es una caja de herramientas de código abierto que acelera la inferencia de IA y permite a los desarrolladores usar modelos de IA formados utilizando marcos populares como TensorFlow, Pytorch, ONNX y otros. El servidor de modelos de aprendizaje de profundidad OpenVino utiliza la tecnología de contenedores Docker y se puede implementar en un entorno de clúster para administrar las altas cargas de inferencia y evolucionar de acuerdo con las necesidades.

"El servidor de modelos OpenVino admite una inferencia remota, que permite a los clientes hacer la inferencia en los modelos implementados en servidores remotos", según Intel. “Esta característica es útil para aplicaciones o escenarios distribuidos en los que debe llevarse a cabo una inferencia de IA en servidores potentes, mientras que el aparato del cliente tiene recursos limitados. Los IPU de Intel son aceleradores de materiales que descargan un cierto número de tareas, como el tratamiento de paquetes, el formateo de tráfico y la conmutación virtual de la unidad central del servidor. La oferta integrada de F5/Intel, que está disponible, será particularmente beneficiosa para las aplicaciones de la periferia (EDGE), como el análisis de video e IoT, donde la baja latencia y el alto rendimiento son cruciales, escriben. Kunal Anand, director de tecnología de F5, en un blog de tecnología.

Descargue el procesador principal con la IPU

"F5 Nginx Plus funciona como un proxy inverso, ofreciendo gestión del tráfico y protección para servidores de modelos de IA", escribe el Sr. Anand. "Con configuraciones de alta disponibilidad y verificaciones de salud activas, Nginx Plus puede garantizar que las aplicaciones para aplicaciones, flujos de trabajo o usuarios lleguen a un servidor de modelos OpenVino operativo.» » También ofrece el uso de certificados HTTPS y MTLS para cifrar las comunicaciones entre la aplicación del usuario y el servidor de modelos sin desacelerar el rendimiento, agregó Anand. Con OpenVino, los desarrolladores primero convierten los modelos y luego pueden optimizarlos y comprimirlos para obtener respuestas más rápidas, según Anand. "El modelo AI está listo para implementarse integrando el motor de ejecución de OpenVino en su aplicación para que sea compatible con la IA. Los desarrolladores pueden implementar su aplicación de IA infundida a través de un contenedor de luz en un centro de datos, en la nube o en la periferia en una variedad de arquitecturas de hardware", escribió.

Según Intel, la integración de una IPU Intel en Nginx Plus crea un vacío de seguridad entre Nginx Plus y los servidores OpenVino. Esta capa de seguridad adicional protege contra las vulnerabilidades potenciales compartidas para ayudar a proteger los datos confidenciales en el modelo de IA, dijeron los proveedores. Intel IPUS es compatible con el servidor Dell PowerEdge R760 equipado con procesadores Xeon. Esta asociación puede aumentar el rendimiento de los servidores OpenVino y F5 Nginx Plus, según el Sr. Anand. "La ejecución de Nginx Plus en Intel IPU ofrece rendimiento y escalabilidad gracias a los aceleradores de material de la IPU Intel", escribió el Sr. Anand. “Esta combinación también deja los recursos de CPU disponibles para los servidores de modelos IA.