TorchServe, un servidor modelo de aprendizaje profundo para PyTorch

Producto de una colaboración entre AWS y Facebook, TorchServe se entrega como parte del proyecto PyTorch de código abierto, uno de los marcos más utilizados para construir y entrenar modelos de aprendizaje profundo. El uso de PyTorch, creado originalmente por Facebook, se hace más fácil por su interfaz cercana a lo que los usuarios de Python saben, pero la implementación y administración de modelos en producción es una historia completamente diferente. Este paso suele ser la parte más difícil del proceso de aprendizaje automático. Aquí es donde entran los servidores modelo para servir predicciones de ML en producción. Los más conocidos son actualmente Servidor TensorFlow y Servidor Multi Modelo.

Anunciado al comienzo de la semana en una publicación en Medium, TorchServe, actualmente en modo experimental, facilita el despliegue a escala de modelos PyTorch entrenados y acelera su producción, al prescindir del código escrito. Crea automáticamente una API de predicción de baja latencia e integra las herramientas para manipular aplicaciones comunes como la detección de objetos y la clasificación de texto. Incluye la capacidad de modelos múltiples para la inferencia de modelos de redes neuronales, versiones de modelos para pruebas A / B, métricas de monitoreo y terminaciones tranquilas para la integración en aplicaciones.

AWS aclaró que TorchServer admite diversos entornos de aprendizaje automático, incluido, por supuesto, el suyo, SageMaker. Entre las compañías que ya usan el servidor modelo de código abierto, AWS cita el Desarrollo Avanzado del Instituto de Investigación de Toyota (TRI-AD) que trabaja en el software de conducción automatizado de Toyota Motor, y Matroid, fabricante de software de visión por computadora que detecta objetos y eventos en imágenes de video . TorchServe es construido y mantenido por AWS en colaboración con Facebook.

Un controlador Kubernetes integrado con TorchElastic

Al mismo tiempo que TorchServe también se anuncia un controlador Kubernetes estrechamente integrado con TorchElastic, aún en modo experimental. Con el controlador TorchElastic Kubernetes, los desarrolladores pueden crear tareas de capacitación distribuidas tolerantes a fallas PyTorch de manera elástica utilizando sus clústeres Kubernetes, dicen los equipos de AWS y Facebook en Medium. Esto se puede hacer en particular en AWS, en instancias de EC2 Spot en Elastic Kubernetes Service (EKS).

Al mismo tiempo, el marco PyTorch se entrega en la versión 1.5 que actualiza varias de sus bibliotecas y proporciona soporte para una API C ++ estable, a la par con Python.