Una infidelidad a OCI de Oracle por parte de Cohere, que ha decidido trasladar su último LLM, Command R+, a Azure de Microsoft. Se basa en el modelo anterior aumentando el rendimiento de varias tareas como la categorización de datos y la automatización del flujo de trabajo. Sin embargo, la puerta no está cerrada para Oracle, ya que el LLM debería llegar pronto a OCI y otras plataformas en la nube. Ya está disponible a través de la API alojada de Cohere.
RAG y políglota
Las empresas pueden utilizar Command R+ para integrar sus datos y dar soporte a aplicaciones personalizadas con mayor precisión a través de Retrieval-Augmented Generation (RAG), que extrae información de bases de datos externas para obtener respuestas más precisas y minimizar los errores. “RAG permite a las empresas dejar que el modelo busque en bases de datos privadas y utilice esa información para formular respuestas más precisas y útiles”, explicó el portavoz de la startup Kyle Lastovica. Añadió: “Los resultados del modelo están acompañados de citas claras y pueden resaltar contexto adicional de los documentos fuente que limitan las alucinaciones”.
Al igual que su predecesor, Command R+ tiene una ventana emergente de 128.000 tokens para manejar documentos grandes y funciona en diez idiomas, incluidos inglés, español y chino. En una publicación de blog En el lanzamiento de Command R+, el CEO Aidan Gómez también mencionó las capacidades de automatización del flujo de trabajo del modelo, incluida la capacidad de aplicar LLM a cargas de trabajo empresariales desde CRM hasta la finalización de pedidos, combinando múltiples herramientas en múltiples etapas mediante el uso de API y LangChain, y reintentando si una herramienta falla.
En comparación con el modelo anterior, las últimas características tienen un costo adicional sustancial. Cohere cobra seis veces más por token de entrada y diez veces más por token de salida que Command R para acceder a la API Command R+. El último LLM cuesta $3 por millón de tokens de entrada y $15 por millón de tokens de salida. Se espera que el modelo se beneficie del auge del mercado del software de IA empresarial. Según IDC, se espera que la inversión empresarial en servicios, software e infraestructura de IA generativa crezca de $16 mil millones este año a $143 mil millones para 2027. Durante ese período de cuatro años, se espera que el gasto en IA generativa crezca a una tasa de crecimiento anual compuesta (CAGR) del 73,3%. IDC señala que esta tasa es más del doble de la tasa de crecimiento de la inversión general en IA y casi 13 veces la CAGR del gasto mundial en TI durante el mismo período.
Otras noticias que te pueden interesar