DataStax tiene anuncio una asociación con la startup ThirdAI, con sede en Houston, para integrar grandes modelos de lenguaje (LLM) en sus ofertas de bases de datos, incluida Enterprise para aplicaciones locales y AstraDB, una base de datos NoSQL como servicio. Según Ed Anuff, gerente de producto de DataStax, esta asociación es parte de la estrategia de la compañía para llevar la inteligencia artificial al lugar donde residen los datos. ThirdAI se puede instalar en el mismo clúster, local o en la nube, que DataStax, porque viene con una pequeña biblioteca y la instalación se puede realizar con Python. “La ventaja es que los datos no tienen que pasar de DataStax a otro entorno, simplemente se transmiten a ThirdAI, que está adyacente a él. Esto garantiza total confidencialidad y velocidad de ejecución porque no se pierde tiempo transfiriendo datos a través de una red”, dijo un portavoz de DataStax. "ThirdAI se puede ejecutar como un paquete Python o se puede acceder a él a través de una API, según las preferencias del cliente", añadió el portavoz.

Las empresas que utilizan DataStax Enterprise o AstraDB pueden aprovechar los datos que residen en estas bases de datos junto con la tecnología y los LLM de ThirdAI para crear sus propias aplicaciones de IA generativa. Los modelos centrales de ThirdAI se pueden entrenar para comprender datos y responder consultas, por ejemplo, recomendar un producto que podría generar una venta, según el historial de un cliente. Con la integración de los LLM de ThirdAI, DataStax podrá aprovechar la tecnología Bolt de la startup, que permite un mejor rendimiento del entrenamiento de IA en las CPU en comparación con las GPU, para modelos relativamente pequeños. La ventaja es que las CPU suelen tener un precio más bajo que las GPU, que a menudo se utilizan para cargas de trabajo de inteligencia artificial y aprendizaje automático.

Fácil integración con canalizaciones de ML Python

“El Bolt Engine, que es un acelerador algorítmico para entrenar modelos de aprendizaje profundo, puede reducir los cálculos de manera exponencial. El algoritmo entrena redes neuronales en 1% o menos de operaciones de punto flotante por segundo (FLOPS), mucho mejor que trucos comunes como la cuantificación, la poda y la dispersión estructurada. dispersión estructurada, que ofrecen sólo una ligera mejora en el factor constante", explicar Tercera IA. “Las aceleraciones se observan naturalmente en cualquier procesador, ya sea Intel, AMD o ARM. Incluso las versiones más antiguas de CPU comunes pueden entrenar modelos de mil millones de parámetros más rápido que las GPU A100 con el motor Bolt”, añadió la compañía. Según ThirdAI, también es posible invocar a Bolt cambiando "sólo unas pocas" líneas en los canales de aprendizaje automático de Python existentes.

El anuncio de ThirdAI es el primero de otro programa de asociación creado por DataStax para aprovechar más tecnologías de nuevas empresas de IA que pueden ayudar a las empresas cuyos datos residen en las bases de datos de Datastax a desarrollar aplicaciones de IA generativas.