En 2023, AWS se había asociado con nvidia para Presente el proyecto CEIBA que mezcla HPC e IA. En 2024, con motivo del evento RE: Invent que tiene lugar en Las Vegas del 2 al 6 de diciembre, el proveedor de la nube dio a conocer el Proyecto Rainer. Es un cálculo de cálculo dedicado a la IA que puede embarcarse en cientos de miles de chips de Entrenium 2. El anuncio viene en un contexto donde Amazon Invirtió $ 8 mil millones en antrópico En el origen del modelo Claude y quiere promover su infraestructura (en lugar de las GPU de Nvidia) para el entrenamiento de la IA. Empresas como Apple evalúan el uso de las pulgas de AWS Entrenium.

Entrenium 2 se han revelado chips El año pasado en Las Vegas al mismo tiempo que el chip Graviton 4. Esta segunda versión es cuatro veces más rápida que la primera iteración, lo que la hace más adecuada para el entrenamiento de grandes modelos con cientos de miles de millones de parámetros. El chip incluye ocho "neuroncores" que integran diferentes motores (tensor, vector, escalar), incluido GPSIMD. Estos son extractos de código de bajo nivel altamente especializados que usan los equipos de aprendizaje automático para mejorar el rendimiento de sus redes neuronales. Los ocho neuroncores están respaldados por 96 gigabytes de memoria HBM, que es considerablemente más rápido que otras variedades de RAM. El chip de Entrenium2 mueve los datos entre su grupo HBM y los neuroncores a una velocidad de hasta 2.8 terabits por segundo (a través de una tecnología doméstica llamada NeuronLink).

El AWS Entrenium Fleaum proviene de la compra de Annapurnalabs en 2015. (Crédito de la foto: AWS)

El chip de entrenamiento 3 para finales de 2025

Los cientos de miles de chips de Entrenium2 del Proyecto Rainier están organizados en ultraservadores TRN2. Estos son servidores desarrollados internamente que WES se presentó hoy al mismo tiempo que el clúster de cálculo. Cada máquina incluye 64 chips Trainium2 que pueden proporcionar 83.8 PETAFLOPS DE RENDIMIENTO durante la ejecución de operaciones FP8 dispersas, un tipo de cálculo que los modelos de IA usan para procesar datos. Tenga en cuenta que los servidores no están ubicados en el mismo lugar, AWS ha distribuido las máquinas en varios sitios. Para remediar el problema de la latencia, el proveedor ha desarrollado la tecnología del adaptador de tela elástica, un dispositivo de red que acelera el flujo de datos entre los chips IA. En julio pasado, AWS había presentado su estrategia en su infraestructura de red IA. La compañía planea completar la construcción del Proyecto Rainer en 2025.

Durante su intervención en una conferencia plenaria, el CEO de AWS Matt Garman enfatizó que las instancias TRN2 Ultra -Service para el entrenamiento de IA están disponibles. Él especifica que en comparación con las instancias basadas en NVIDIA, los nuevos grupos de AWS son de 30 a 40 % más baratos. El gerente también aprovechó la oportunidad para anunciar el desarrollo de Entrenium 3, que ofrecerá actuaciones cuatro veces más altas que las de su chip actual. Estará disponible para los clientes a fines de 2025.