Google ha lanzado una API experimental para LLM que puede ejecutarse completamente en una terminal en entornos Android, iOS y web. Presentado el 7 de marzoLa API de inferencia MediaPipe LLM inicialmente admite cuatro modelos: Gemma, Phi 2, Falcon y Stable LM. El proveedor dice que esta API es experimental y aún está en desarrollo, pero brinda a los investigadores y desarrolladores la capacidad de crear prototipos y probar modelos que están disponibles de forma gratuita en cualquier dispositivo Android, iOS o web.

Para Android, la empresa afirmó que las aplicaciones de producción con LLM pueden aprovechar la API Gemini o Gemini Nano a través de Android AICore. Esta capacidad a nivel de sistema introducida en Android 14 proporciona soluciones impulsadas por Gemini para dispositivos de alta gama, incluidas integraciones con aceleradores, filtros de seguridad y adaptadores LoRA. Los desarrolladores pueden probar la API de inferencia LLM de MediaPipe a través de una demostración web o creando aplicaciones de demostración.

Un ejemplo oficial está disponible en GitHubLa API ofrece a los desarrolladores la posibilidad de integrar LLM en un dispositivo en tan solo unos pocos pasos mediante SDK específicos de la plataforma. Con optimizaciones significativas, la API puede ofrecer una latencia líder en la industria en todo el dispositivo, centrándose en la CPU y la GPU para admitir múltiples plataformas, afirmó Google. Google planea expandir la API a otras plataformas y modelos a finales de este año.