Al igual que el Kanban en la industria manufacturera hace varias décadas, los métodos "justo a tiempo" se invitan en proyectos generativos de IA. "Es esencial encontrar el" buen momento "para desplegar un proyecto de IA, explica Sastry Durvasula, jefe operativo, información y oficial digital de la compañía de servicios financieros de TIAA. No queremos llegar tarde, pero tampoco demasiado de antemano. En particular, porque necesitamos saber en tiempo real en el que actuará.

TIAA lanzó un Genai llamado Research Buddy, que recopila información relevante de documentos accesibles al público para Nuveen, su rama de gestión de activos, según las necesidades. "La IA solo se activa cuando el analista necesita investigación. Según su solicitud, nuestra herramienta proporciona las respuestas y genera el informe asociado", explica Sastry Durvasula. Pero, según él, esta no es la única razón para adoptar un enfoque justo a tiempo para la IA. El costo es al menos como factor importante. "El costo de una genia puede ser astronómicamente alto y no siempre se justifica en términos de valor comercial", dijo Sastry Durvasula.

Justo en el tiempo, pero no todo el tiempo

Un punto que el analista de Forrester, Mike Gualtieri, argumentó que el enfoque justo a tiempo, aunque no siempre está justificado. Para él, puede ser "para interacciones con clientes de bajo margen, pero cuando millones de dólares están en juego, el costo de usar AI generativo es despididente. Si le cuesta un millón de dólares, pero ahorra 10, ¡no debería frenar!».

Antes de embarcarse en el tiempo, los gerentes de TI deben, según él, identificar cuándo el costo es un parámetro importante en las aplicaciones de IA, y cuándo este no es el caso. Por ejemplo, generalmente usan LLM previamente capacitados, que no requieren un gasto extraordinario en infraestructura o capacitación de modelos, ni reclutamiento de habilidades costosas en términos de ciencia de datos. "Solo necesitan su equipo de desarrollo de software para unirse a este componente [de GenAI] En una aplicación ", resume al analista.

El trapo (la generación de aumentos de recuperación) también es una forma de reducir los costos de IA, recuerda el analista. Esto mejora la calidad y relevancia de los resultados al tiempo que elimina la necesidad de causar modelos personalizados. "Los proveedores integran directamente las soluciones de RAG para que las empresas no tengan que crearlas ellos mismos. Usan un modelo y luego inyectan el contenido en el último minuto cuando lo necesite", dice Mike Gualtieri.

Pero, finalmente, este último punto resume todo el interés de los enfoques justo a tiempo en la IA generativa: inyectar contenido en el modelo solo cuando sea necesario, y en el último momento, cuando lo necesite. De hecho, el trapo se ha convertido en una buena práctica para los equipos que usan el Genai no solo para maximizar el valor comercial, sino también para minimizar la carga generada por sus casos de uso y los flujos de trabajo específicos. Esto es parte de la filosofía de la IA justo al tiempo.

Ciudadano desarrollado por decisiones justo a tiempo

En mayo de 2024, SAIC, un integrador de tecnologías al servicio de los mercados de defensa, espacio, civil e inteligencia, presentó su GPT Tenjin en Microsoft Azure y la plataforma Operai a sus 24,000 empleados. Los primeros casos de uso mejoran los flujos de trabajo en ciertos puntos estratégicos de la organización. Por ejemplo, la compañía ha creado un chatbot para ayudar a los empleados en caso de incidentes en un servicio de computadora, así como un agente virtual para proporcionar información relacionada con las solicitudes que llegan al servicio al cliente. SAIC también usa Tenjin para ayudar al desarrollo de software, preparación y visualización de datos y generación de contenido. La compañía también lo ofrece a sus clientes.

"Tenjin GPT es el primer paso en una estrategia de IA a largo plazo", explica Nathan Rogers, DSI de SAIC. Queremos una base de usuarios mucho mayor. En última instancia, tendremos desarrolladores ciudadanos en todo el negocio que tomarán decisiones justo a tiempo, tanto para nuestros casos de uso interno como de cliente. "

Mantenga a un humano en el bucle

"El justo en el tiempo no resuena por completo en mí", dice Max Chan, DSI del proveedor de componentes electrónicos AVNET. Más bien, se trata de utilizar la técnica correcta en los lugares correctos para reducir la necesidad de recursos innecesarios y gestionar los costos y la eficiencia. Pero, la analogía [avec le juste-à-temps] se aplica al alto costo y al alto consumo de recursos del Genai. LLM [large language model] Consume muchos ciclos de cálculo, mientras que el Genai no es la respuesta a todo. No queremos desperdiciar ciclos innecesarios para no obtener un resultado convincente. »»

La otra pregunta sobre el justo en el tiempo con IA es la posibilidad de incluir a un humano en el ciclo para garantizar que las respuestas del modelo no sean sesgadas ni alucinantes. Sin embargo, dependiendo de cómo esté estructurado el flujo de trabajo, esto puede ser un desafío. "No tienes este lujo con una IA justo a tiempo. Pero este es un problema que se puede resolver, si lo anticipas", dijo Sastry Durvasula de Tiaa.

Esto da como resultado la inyección de las reglas de IA responsables del agente antes de su producción. En TIAA, los analistas de Nuveen también examinan los resultados del amigo de investigación antes de ser explotados, asegura el CIO.

Para Sastry Durvasula, es más bien un concepto de "por el caso" que se aplica al amigo de investigación. "Por lo tanto, los flujos de trabajo de inversión deben adaptarse en este modelo. Se necesitan ideas disponibles en caso de que las profesiones de inversión lo necesiten", dice. Además, "cuando alimenta a estos equipos con grandes volúmenes de datos públicos de tiempo real, no puede tener mucha latencia. Se deben escribir indicaciones personalizadas en tiempo real", agrega el DSI.