El año pasado, mientras muchos CIO trabajaban para evaluar sus emisiones de carbono de Alcance 3 (emisiones indirectas), la IA generativa se abrió camino en prácticamente todas las empresas. A veces de manera importante, pero a menudo de manera más silenciosa, con ejecutivos probando la tecnología para redactar documentos y correos electrónicos sin necesariamente admitirlo.

En muchas organizaciones, los casos de uso se detuvieron allí. Pero algunos departamentos de TI ahora están aprobando, e incluso alentando, el uso de IA generativa para tareas como la producción de código. Otras organizaciones están recurriendo a sus proveedores de software para obtener actualizaciones que incluyan componentes de IA generativa. En el otro extremo del espectro se encuentran empresas como la fintech sueca Klarna, que ha integrado la IA generativa no solo en una serie de proyectos internos, sino también en los productos que vende. Para guiar estos usos, la fintech ha desarrollado una gobernanza de la IA con pautas sobre cómo se debe utilizar la tecnología en los proyectos.

Martin Elwin, director de ingeniería de Klarna: "Al combinar iniciativas de producción y desarrollo, actualmente estamos estudiando alrededor de 100 casos de uso". (Foto: Klarna)

Klarna ha apostado fuertemente por la IA desde el lanzamiento de ChatGPT en noviembre de 2022, y la sensación general dentro de la empresa es que la IA generativa puede ayudar a casi cualquier persona de la organización a ser más eficaz, independientemente del nivel de habilidad o el puesto. “En las iniciativas de producción y desarrollo, actualmente estamos explorando alrededor de 100 casos de uso en toda la empresa en los que podríamos utilizar la IA generativa”, afirma Martin Elwin, director de ingeniería de Klarna. “Y no se trata solo de ingenieros; todos están involucrados, desde finanzas hasta legal, marketing y más allá”.

Hace unas semanas, Klarna anunció un asistente de inteligencia artificial que responde a las preguntas de los usuarios con poca o ninguna asistencia humana. La aplicación ayuda a los consumidores a encontrar los artículos que quieren comprar del comerciante más adecuado, y les ayuda a realizar pagos y recibir asistencia posventa. Según Daniel Greaves, jefe de comunicaciones de Klarna, "aproximadamente cuatro semanas después del lanzamiento, el asistente de inteligencia artificial ha gestionado dos tercios de nuestras solicitudes de chat de atención al cliente y está haciendo el trabajo de unas 700 personas".

Srini Koushik, de Rackspace Technology: “En mi propia empresa, si la IA me ahorra el tener que llevar a alguien de Nueva York a Londres, he compensado el consumo que genera”. (Foto: Rackspace)

Pero estos y otros usos de la IA, por muy beneficiosos que parezcan, están generando dudas. “A primera vista y tal como están las cosas, la IA y la sostenibilidad van en direcciones opuestas”, afirma Srini Koushik, presidente de IA, tecnología y sostenibilidad en Rackspace Technology. “La IA consume mucha energía, ya sea para entrenar grandes modelos lingüísticos (LLM) o para hacer inferencias. Y eso es solo el principio. El consumo de energía está aumentando exponencialmente”.

Sin embargo, el jefe del proveedor de la nube y muchos otros expertos dicen que los beneficios de la IA superan con creces su huella de carbono cada vez mayor, lo que puede no ser el caso de otras aplicaciones que consumen mucha energía, como las criptomonedas. La IA promete ayudar a los investigadores a descubrir fuentes de energía más eficientes, como la fusión nuclear, optimizar el uso de las fuentes de energía actuales mediante una mejor distribución o medir mejor las ramificaciones de las emisiones de CO2 mediante el análisis de la dinámica climática. "La IA beneficiará a la humanidad de muchas maneras", dice Koushik. "En mi propia empresa, si la IA me ahorra tener que enviar a alguien en un vuelo de Nueva York a Londres, he compensado el consumo que genera".

Niklas Sundberg, director digital de Kuehne+Nagel: “Deberías poder preguntar a Copilot o ChatGPT cuál es la huella de carbono de tu última consulta”. (Foto: Kuehne+Nagel)

Independientemente de si la IA cumple o no su promesa a largo plazo, los CIO que deben informar sobre sus emisiones de carbono ahora deben incluir el impacto de la IA en su Alcance 3. Y aquí es donde las cosas se complican muy rápidamente. Por ejemplo, si está ejecutando una inferencia utilizando un modelo entrenado por otra persona, debe tener en cuenta su parte del impacto de CO2 de ejecutar ese modelo en sus emisiones de Alcance 3. El proveedor puede ser capaz de decirle el consumo total de energía de la fase de entrenamiento, pero incluso entonces, nadie sabe cómo distribuir ese costo entre todos los usuarios durante la vida útil del modelo.

“Nada de esto está claro todavía, porque los informes de alcance 3 son nuevos, al igual que la IA generativa”, observa Niklas Sundberg, director digital de Kuehne+Nagel, una empresa suiza de transporte y logística global. En 2022, el ejecutivo publicó un libro sobre GreenIT en las empresas, Sustainable IT playbook for technology leaders.

A pesar de estos puntos ciegos, los CIO están avanzando con la IA. En el camino, algunos han descubierto tres formas de mitigar el impacto de los proyectos de IA generativa en su hoja de ruta de sostenibilidad.

1. Utilice un proveedor grande para optimizar el uso

“Ya somos usuarios avanzados de IA, y una de las cosas que recomendamos es utilizar IA, especialmente la inferencia, a través de proveedores que tengan entornos de inferencia a pedido”, dice Martin Elwin de Klarna. Sentido común. Cuantas más personas utilicen un servicio de nube pública, mayor será la tasa de utilización. Mejorar la utilización de los recursos para ejecutar aplicaciones de IA que consumen mucha energía podría marcar una diferencia en la huella de carbono general de su organización.

Los CIO pueden ir más allá y plantear a los proveedores una serie de preguntas, empezando por cómo entrenan sus modelos y cómo se realiza la inferencia. “Si solo estás comprando servicios de inferencia, pregúntales cómo pueden tener en cuenta todo el impacto desde el principio”, aconseja Tate Cantrell, CTO de Verne, una empresa de coubicación con sede en el Reino Unido. “El resultado de la inferencia tarda una fracción de segundo. Pero la única razón por la que los pesos dentro de la red neuronal son como son es porque se necesitó un entrenamiento masivo (posiblemente un mes o dos de entrenamiento a algo así como 100 a 400 megavatios) para que la infraestructura pudiera producir estas respuestas tan rápidamente. Entonces, ¿de qué parte de ese entrenamiento deberías ser responsable, en términos de tu huella de carbono?”

Tate Cantrell, director de tecnología de Verne: "¿De qué parte del entrenamiento de un modelo de IA deberías ser responsable, en términos de huella de carbono?" (Foto: Verne)

Tate Cantrell insta a los CIO a preguntar a los proveedores sobre sus propios informes. “¿Informan abiertamente sobre el impacto total en la sostenibilidad que generan sus servicios? ¿Cuánto dura el proceso de capacitación, cuánto tiempo es relevante y entre cuántos clientes se comparte ese impacto?”

Según Niklas Sundberg, de Kuehne+Nagel, la solución ideal sería que cada modelo de IA te dijera su huella de carbono. “Deberías poder preguntarle a Copilot o ChatGPT cuál es la huella de carbono de tu última consulta”, afirma. “Hasta donde yo sé, ninguna de estas herramientas te dará una respuesta a esa pregunta en este momento”.

2. Utilice el modelo más apropiado para cada parte del problema.

Cuando Klarna creó su asistente de inteligencia artificial, la empresa no utilizó un único modelo de inteligencia artificial para hacer todo. En cambio, evaluó cada paso del servicio para ver qué era lo que realmente se necesitaba en cada paso. “Intentamos ser eficientes en el uso de recursos”, resume Elwin. “Nos aseguramos de utilizar un modelo lo más pequeño posible que ofreciera la capacidad necesaria para completar cada paso del proceso”.

Klarna ha generalizado esta idea mediante la publicación de pautas para garantizar que los equipos sigan este mismo enfoque al crear otras soluciones. Un paso puede requerir un modelo completo, como GPT-4, mientras que otra parte del servicio funciona bien con un modelo más ligero, como GPT-35 Turbo.

Los modelos más pequeños requieren menos energía, no solo durante el entrenamiento, sino también para la inferencia. En última instancia, las empresas necesitarán medir el consumo de energía de sus aplicaciones de IA en algún momento, probablemente por consulta. Ahí es donde los modelos más pequeños funcionan mucho mejor. "No necesitas GPT-4 para manejar reclamos de seguros", dice Koushik. "Necesitas un modelo más pequeño que esté entrenado con datos más específicos del dominio y que sea más preciso para responder preguntas en ese dominio específico que GPT-4".

Si bien las grandes empresas llevan mucho tiempo trabajando con el aprendizaje automático, sus modelos no son tan sofisticados como los grandes modelos de código abierto, afirma Sundberg. “Pero son mejores para resolver problemas empresariales muy específicos, como la fijación de precios y la predicción de la pérdida de clientes”.

3. Priorizar los casos de uso

Un CIO puede tener una visión equilibrada de los casos de uso y priorizarlos. “La mayoría de las personas no necesitan Copilot”, afirma Koushik. “Los beneficios de escribir mejores correos electrónicos no justifican el costo de la suscripción ni las emisiones de carbono. Por otro lado, nuestro departamento legal obtiene beneficios de Copilot que compensan el costo, por eso lo implementamos en ese departamento”.

Priorizar los casos de uso significa que los CIO tendrán que decirles a algunos usuarios que la IA no es una buena solución para su problema. La mejor manera de evitar problemas es establecer pautas claras desde el principio. Comience por encontrar formas de medir la huella de carbono de las herramientas de IA y luego, para cada caso de uso, evalúe eso frente a los posibles beneficios. “Es importante que los CIO tengan datos sobre las emisiones de carbono de una aplicación determinada”, dice Sundberg. “Esto les ayuda a sopesar los costos frente a los beneficios. Si no pueden calcular la huella de carbono por sí mismos, intenten preguntarle a su proveedor de software”.

Pero estos últimos no siempre son muy transparentes. “Si bien la IA generativa puede abrir muchas oportunidades en términos de desarrollo sostenible, también tiene un lado oscuro que no se aborda, al menos no por parte de los proveedores”, lamenta el CDO de Kuehne+Nagel. “Están demasiado centrados en la carrera tecnológica para convertirse en el proveedor número 1 en su sector”.