Para ayudar a las empresas a administrar mejor la producción y la seguridad de los tratamientos de IA, F5 destaca su puente AI Gateway, una solución automatizada para asegurar y administrar interacciones entre aplicaciones de IA, API y modelos de idiomas grandes (LLM). Según el proveedor, este servicio contenedorizado de Kubernetes se puede implementar solo o integrarse en el software, el hardware o los servicios existentes. El puente admite modelos de IA populares como OpenAI, antrópico, Ollama y HTTP Generics aguas arriba y los servicios de modelos de lenguaje pequeño (modelo de lenguaje pequeño, SLM). Según Lori MacVittie, un ingeniero distinguido del equipo de F5 CTO, las aplicaciones de IA tienen desafíos únicos de seguridad, vigilancia y entrega. "La naturaleza no determinista de las aplicaciones de IA representa un desafío importante, porque los datos entrantes y las respuestas salientes varían considerablemente y evolucionan con el tiempo. Además, las aplicaciones de IA pueden extraer datos de fuentes estructuradas y no estructuradas que residen en varios sitios", escribió ", escribió. Sra. MacVittie en un blog sobre la puerta de entrada.

"El problema con las entradas y salidas no estructuradas e impredecibles es la dificultad inherente de determinar si una solicitud o respuesta contiene información confidencial o incorrecta. Incluso si la seguridad de la API y las aplicaciones web se usan a menudo para este propósito, operan sobre la base de contenido determinista. Pero el contenido es muy variable, por lo que es difícil desarrollar políticas capaces de analizar o limpiar solicitudes y respuestas ", dijo MacVittie.

Mejor soporte de plataformas IA

El puente Gateway F5 AI ofrece una serie de características para administrar entornos de IA, incluida la posibilidad de descargar las tareas duplicadas de la LLM gracias al caché semántico, aún según Lorri MacVittie. "También permite el enrutamiento del tráfico y la limitación del flujo para grandes modelos de lenguaje local y tercero (LLM) para mantener la disponibilidad y el rendimiento de los costos de servicio y control", dijo F5. "Gracias al caché semántico, es posible acelerar los tiempos de respuesta y reducir los costos operativos evitando tareas redundantes de LLM", agregó el proveedor.

AI Gateway puede inspeccionar, identificar y bloquear los ataques entrantes, como inyección rápida, tratamiento de salida no garantizado, negación del servicio modelo, divulgación de información confidencial y vuelo del modelo. "Para respuestas salientes, AI Gateway identifica y limpia información personal identificable PII y evita alucinaciones. Los kits de desarrollo de software (SDK) permiten aplicar reglas operativas y requisitos de cumplimiento para las indicaciones y respuestas para alinearse más sobre las necesidades operativas", dijo F5. "Capacidades adicionales, como informar de varias métricas, a través de Opentelemetry, especial atención a los requisitos de los periódicos de auditoría, chateo semántico, limitación de velocidad y enrutamiento de contenido garantizan el cuidado de los tres requisitos de seguridad y entrega de la IA: Observe, proteger y acelerar", dijo Macvittie. La puerta de enlace AI Gateway puede integrarse como un conjunto de seguridad de aplicaciones F5 Nginx y las plataformas de entrega de aplicaciones Big-IP, que permite a los clientes beneficiarse de la integración y el acceso tradicionales.