Si proveedores como Amazon, Google, Microsoft, Nvidia o SambaNova de nuevo están desarrollando sus propios ASIC de IA, se ha producido una aceleración seguida de una especialización en torno a los núcleos tensoriales durante varios años para satisfacer las necesidades de aplicaciones de IA que explotan algoritmos de entrenamiento e inferencia. Y esto en diferentes sectores como la informática y los sistemas integrados, como los coches autónomos, la visión artificial, el PLN, la robótica, el Internet de las cosas y otras tareas intensivas en datos o impulsadas por sensores. Ex empleado de Google que trabajó en la primera TPU (Unidad de procesamiento de tensores) de la firma lanzada en 2015, Jonathan Ross fundó su propia empresa en 2016 para desarrollar aceleradores a medida para la inferencia de IA. Llamados GroqChip, estos chips de tipo LPU (Language Processing Unit) compiten con las muy cotizadas GPU de Nvidia en el mercado de la inteligencia artificial. Grabado en 14 nm en GlobalFoundries, el GroqChip se basa en un diseño más simple que los circuitos de Nvidia (originalmente tarjetas gráficas). Sin embargo, los rendimientos no son comparables, ya que Nvidia alcanza hasta 1.000 Tflops con su acelerador H100 (30.000 dólares sin impuestos), mientras que el GroqChip alcanza un máximo de 188 Tflops.

El TPU de Groq, grabado en 14 nm en GlobalFoundries, es un acelerador dedicado a cálculos de IA como PyTorch, TensorFlow y ONNX. (Crédito: Groq)

“Hace aproximadamente un año, a nadie le importaba Groq, nadie sabía nada de la startup. ¿Qué pasó desde entonces?”, nos preguntó Jonathan Ross. “En 2022, una de las cuatro empresas que estaban entrenando grandes modelos de lenguaje decidió poner esta cosa en Internet como un chatbot y ha existido durante más de un año”. Antes, había que usar una API y un programa para acceder a ella. Y de repente, la IA generativa se volvió accesible para las masas en un simple navegador. “Hace unos 10 años, en Google, iniciamos un proyecto, ahora conocido como TPU [des ASIC conçus pour accélérer la vitesse de traitement des systèmes d’apprentissage machine] “Esto llevó a este avance tecnológico que finalmente se extendió por toda la industria”, nos dijo el director ejecutivo de Groq, Jonathan Ross. En comparación con un acelerador de GPU, las TPU están diseñadas para cálculos de gran volumen y baja precisión (por ejemplo, una precisión de hasta 8 bits) con más operaciones de E/S por julio. “Si ha oído hablar de los núcleos tensores de GPU de NVIDIA, en realidad fueron pioneros de Google. Y eso surgió del primer chip TPU que diseñé”. Recordemos que Nvidia presentó sus primeras unidades Tensor en mayo de 2017 con la microarquitectura de GPU Volta utilizada por los productos Tesla V100.

A diferencia de los aceleradores de GPU, las LPU, al igual que las TPU, fueron diseñadas desde cero para la computación de IA. (Crédito SL)

Google detrás de la onda tensora

Un tensor es un objeto matemático cuyo valor se expresa en un espacio 3D. En 2015, con su primer TPU, Google creó su propio marco de aprendizaje automático que utiliza tensores, porque permiten la explotación de redes neuronales altamente escalables. Google sorprendió a los actores del mercado al hacer que sus bibliotecas de aprendizaje automático Tensorflow (Google Brain para la primera versión) fueran de código abierto en noviembre de 2015. (publicado bajo la licencia Apache), pero puede haber sido un golpe de genialidad ya que Tensorflow se ha convertido rápidamente en uno de los marcos de aprendizaje automático más populares utilizados por los desarrolladores con la versión 2.0 lanzada en febrero de 2017. Mientras tanto, los proveedores de chips parecen estar optimizando sus productos, ya sea para Tensorflow directamente o para cálculos de tensores (como lo está haciendo Nvidia con el V100). En otras palabras, los proveedores de GPU como Nvidia o AMD están compitiendo para mejorar el marco de aprendizaje automático de código abierto de Google, una situación que solo puede beneficiar a este último.

Al aprovechar la interfaz PCI Gen4, la tarjeta Groq simplifica la implementación de la plataforma del proveedor. (Crédito: Groq)

“Ahora bien, ¿por qué estamos aquí hoy? Porque 2023 fue el año en que la IA se hizo posible. Había potencial, pero todavía había cierta confusión sobre si se impondría o no en las empresas. 2024 será el año en que la IA se convierta en una realidad”, continuó el CEO de Groq. “El motor de inferencia de la Unidad de Procesamiento del Lenguaje (LPU, por sus siglas en inglés) es un sistema de procesamiento inventado por Groq para manejar aplicaciones computacionalmente intensivas con un componente secuencial como los grandes modelos de lenguaje (LLM, por sus siglas en inglés). El motor de inferencia LPU está diseñado para superar los dos cuellos de botella de los LLM, la cantidad de computación y el ancho de banda de la memoria”, explica Groq. Un circuito dedicado, una LPU tiene menos recursos computacionales que una GPU, pero más que una unidad central de procesamiento (CPU), y reduce el tiempo calculado por palabra, lo que permite generar secuencias de texto mucho más rápido. Para ayudar a los desarrolladores a aprovechar su plataforma TPU (chip, tarjeta PCI y servidor), Groq destaca su SDK llamado Groqware, que reúne un compilador, una API y herramientas para ayudar a portar cargas de trabajo de HPC y ML. Groq Compiler, desarrollado en conjunto con la arquitectura TSP, facilita la implementación de modelos de aprendizaje profundo (PyTorch, TensorFlow y ONNX). La API de Groq brinda a los clientes un control granular sobre GroqChip. Finalmente, herramientas como el generador de perfiles y el entorno de ejecución GroqView mejoran y simplifican los flujos de trabajo de los desarrolladores. Cabe señalar que Groq comercializa un chip (Chip de crecimiento), una tarjeta PCI Gen4 (Acelerador GroqCard) y especialmente un servidor 4U (Servidor GroqNode) basado en dos procesadores AMD Epyc 7313 soportados por 1 TB de DRAM y asociados a 8 GroqCards para alcanzar 1,5 Pflops. Un competidor declarado del servidor DGX de Nvidia.

Una última palabra sobre el significado del nombre Groq: proviene de la palabra grok, que se utilizó por primera vez en 1961 en el libro de ciencia ficción “En tierra extraña” de Robert Heinlein. En esta novela, grok significa comprender algo intuitivamente o a través de la empatía.