Están llegando las primeras facturas por experimentos de IA generativa, y es una mueca. Muchos CIO están encontrando la factura más alta de lo que les gustaría, aunque algunos solo pueden culparse a sí mismos. "Hemos vuelto a ese frenesí de gastos que vimos en los primeros días de la nube", dijo James Greenfield, vicepresidente de AWS Commerce Platform, en FinOps X en San Diego en junio.

JR Storment, director ejecutivo de FinOps Foundation, la organización de Linux Foundation que tiene como objetivo promover los controles de gastos en la nube, dice: "Es muy similar a los primeros días de la nube, cuando el gasto era gratuito, todos intentaban implementar la nube (y ahora GenAI), pero con poco o ningún control de costos o poca o ninguna gobernanza asociada a ella".

Nvidia: GenAI, el 'guardián'

Para contrarrestar este fenómeno, y en previsión de nuevos proyectos en torno a esta tecnología, algunos CIO están explorando una serie de enfoques y métodos para reducir el coste de probar y aplicar la IA generativa.

Según un estudio realizado porIDC (Modelos de precios de IA generativa: una guía de compra estratégica), el panorama de precios de la IA generativa se complica por las “interdependencias en toda la pila de tecnología”. Y no hay forma de evitar los sobrecostos de la IA generativa porque la infraestructura básica necesaria para entrenar y parametrizar los modelos es “proporcionada en gran medida por una sola empresa: Nvidia”, señala IDC.

Mientras esperan un mayor suministro de GPU, muchos clientes están recurriendo a proveedores de servicios específicos de IA, así como a ofertas en la nube (públicas y privadas) para alojar sus aplicaciones GenAI, incluidas Nvidia Cloud, AWS Trainium e Infertia, y Google Tensor Processor Units, según otro estudio de IDC (Vistazo al mercado: modelos básicos de IA generativa). Los CIO también están recurriendo a proveedores como Dell (Project Helix) o HPE (GreenLake), también según IDC.

GPU como servicio: una respuesta parcial

Los proveedores de servicios de IA, a veces también llamados “hiperescaladores de IA”, ofrecen GPU como servicio, lo que permite a las empresas comprar potencia de GPU a pedido para limitar sus gastos. Entre ellos se encuentran CoreWeave, Equinix, Digital Realty y Paperspace, así como el líder en GPU Nvidia y, en cierta medida, los hiperescaladores de la nube Microsoft, Google y AWS. IBM, Oracle, Dell y Hewlett Packard Enterprise también ofrecen GPU como servicio. O, en Francia, proveedores de alojamiento como Outscale, OVH o Scaleway.

Este enfoque a pedido puede reducir drásticamente los costos iniciales de compra de procesadores y escalar hacia arriba o hacia abajo según la carga, señala Tom Richer, ex CIO y actual CEO de CloudBench, un socio y firma consultora de Google. “Para satisfacer las necesidades de los CIO, los proveedores ofrecerán una variedad de opciones, como instancias de máquinas virtuales con diferentes configuraciones de GPU e instancias puntuales con potencia de cómputo reducida”, dice, y agrega que los marcos de IA en contenedores también pueden ayudar a los líderes de TI a garantizar un uso eficiente de los recursos. “Al comprender las opciones disponibles y aprovechar la GPU como servicio, los CIO pueden optimizar los costos de hardware de GenAI y, al mismo tiempo, tener potencia de cómputo para la innovación”.

Pagar a los proveedores en función de los resultados

Pero los CIO que analizan GPUaaS (y otras soluciones de IA generativa basadas en la nube) no escapan a los desafíos de la contención y el control de costos, señala JR Storment de la FinOps Foundation. “En algunos casos, estamos viendo que el costo de la IA comienza a afectar negativamente los presupuestos de la nube”, afirma. “En última instancia, muchos CIO aún no saben qué valor están obteniendo de los experimentos de IA. En muchos casos, los costos de la IA se están disparando, lo que está alimentando una ola de interés en cómo hacer FinOps para la IA, aplicando los mismos principios de visibilidad de costos que FinOps aplica a los costos de la nube”.

Brian Shield, director de tecnología de los Boston Red Sox y Fenway Sports Management, cree que, para controlar los costos, los CIO deberían implementar GenAI de forma selectiva en áreas clave del negocio e implementar un proceso de evaluación dedicado para evitar la duplicación de proyectos y la proliferación de tecnología.

También está considerando negociar los costos en función de la calidad de los resultados. “He ofrecido pagar a los proveedores de GenAI caso por caso. En otras palabras, si la herramienta funciona bien, es decir, si está lista para producción, pagaré X. Para soluciones que tengan una precisión inferior al 90 %, si todavía hay casos de uso viables, pagaré Y”, dice Shield. “Si puedes mejorar tu herramienta, te ascenderé al grupo que paga más. Todos los proveedores dudan, pero todavía estoy en conversaciones con algunos”.

Otros CIO están aprovechando los beneficios de sus acuerdos de licencias empresariales con los principales proveedores de inteligencia artificial y de la nube, como Microsoft, Google y AWS. “Elegimos MS Copilot por su amplio alcance de aplicación, que creemos que satisfará aproximadamente el 80 % de nuestras necesidades”, afirma Bob Brizendine, CIO de American Honda, la filial norteamericana de la empresa japonesa. “Es parte de nuestro acuerdo de licencia existente con Microsoft, que nos permite optimizar los costos de manera efectiva”.

¿Contando con la evolución del mercado?

John Marcante, director de TI residente en Deloitte y exdirector de TI de Vanguard, cree que la innovación ayudará a reducir gradualmente los costos. “El corazón de la IA generativa son las GPU”, afirma. “Y estos chips están evolucionando rápidamente para satisfacer las demandas de inferencia y entrenamiento en tiempo real. A medida que avanzamos en este ciclo de innovación, podemos esperar que las GPU se vuelvan más eficientes, más capaces y más especializadas para las aplicaciones de IA”.

Los proveedores y plataformas de GPU como servicio también están comenzando a ofrecer soluciones llave en mano para procesos de marketing, finanzas, legales y de clientes para permitir que las empresas se concentren en sus competencias principales, dijo Marcante.

También cree que algunas organizaciones construirán sus propias plataformas de IA generativa, adaptándolas a sus requisitos específicos. “Este enfoque garantiza la propiedad y la personalización”, afirma, y ​​señala que la colaboración con proveedores de IA similar a las asociaciones actuales entre empresas y proveedores de la nube es otro camino. “Estos modelos abarcarán desde alquileres de GPU hasta servicios completos de IA”, afirma.

Marcando la diferencia a través del modelaje

La rápida evolución de los grandes modelos lingüísticos (LLM, por sus siglas en inglés) también ha permitido comprender mejor cómo escalar los resultados y reducir los costos. Por ejemplo, los CIO con presupuestos limitados pueden reducir los costos utilizando modelos de código abierto, afirma Bern Elliott, analista de la firma de investigación Gartner. “El código abierto es una forma de que los CIO contengan los costos”, afirma, y ​​señala que estos modelos también son más transparentes y se pueden personalizar con mayor facilidad.

El uso de modelos más pequeños y específicos de cada dominio para tareas más pequeñas es otra forma en que los CIO pueden reducir el costo de la IA generativa. “Las GPU son increíblemente caras. Todos buscan la respuesta correcta porque la opción de prohibir GenAI está descartada”, afirma Chris Bedi, director de atención al cliente de ServiceNow. “Tener modelos específicos de cada dominio nos ayuda a controlar nuestros costos, lo que nos permite trasladar ese beneficio a nuestros clientes”, afirma.

Un ejemplo es RunPod, que ofrece GPU como servicio para desarrolladores y es ampliamente utilizado por universidades y empresas emergentes. Los estudiantes de la Universidad OpenCV y una filial de consultoría de IA, por ejemplo, utilizan RunPod para entrenar modelos de IA, dice Satya Mallick, PhD y CEO de OpenCV.org. “Para una pequeña empresa como la nuestra que necesita múltiples GPU de alta gama durante solo unos días o semanas, RunPod es extremadamente rentable porque no tenemos que incurrir en el enorme costo inicial de comprar GPU”. El equipo de OpenCV también está probando la solución sin servidor de RunPod.

La espada de Damocles de los costes energéticos

Los CIO también están prestando atención al consumo de energía de las aplicaciones de IA generativa, que es otro de los costos importantes a considerar. “La IA requiere un uso intensivo de recursos informáticos y está afectando a los centros de datos a nivel mundial”, afirma Bryan Muehlberger, ex CIO de la marca de ropa Vuori y actualmente CTO de Schumacher Homes, un constructor de viviendas unifamiliares. “Si no solucionamos nuestros problemas energéticos a nivel nacional, este problema acabará convirtiéndose en un problema mayor y los costos se trasladarán a las empresas que utilizan los servicios”, predice.

Además:
- Inteligencia artificial generativa de código abierto: cuidado con las imitaciones