Muchas organizaciones han lanzado docenas de POC (prueba de concepto) de IA para ver un porcentaje considerable de falla, en parte porque los CIO simplemente no saben si estos prototipos alcanzan los objetivos clave asignados a ellos. En estudiar IDC Datado de septiembre, el 30% de los CIO reconocen que no puede determinar qué porcentaje de sus IA POC alcanzan KPI objetivo o puede considerarse exitoso.

Combinado con otro estudio de IDC en abril pasado, que reveló que las organizaciones lanzaron un promedio de 37 POC de IA, esta nueva iluminación sugiere que muchos CIO han adoptado un enfoque de dedo húmedo, subraya a Daniel Saroff, vicepresidente de asesoramiento e investigación en IDC. En promedio, solo cinco POC de IA entran en producción en docenas de iniciativas, y solo tres de ellos se consideran exitosos. En otras palabras, la ola de proyectos de IA generativos se refleja en muchos experimentos, pero poco impacto, resume Daniel Saroff.

En un tercio de los casos, no hay POC en producción

"Cuando dicen que no saben cuáles son sus indicadores clave de rendimiento, lo que las empresas realmente dicen es que cuando han establecido el POC, no sabían cómo medir su éxito", agregó el analista. El costo potencial puede ser enorme, algunos POC que cuestan millones de dólares, según Daniel Saroff.

Además, alrededor del 70 % de los cuestionados por IDC en septiembre dicen que nueve aplicaciones específicas de IA en diez no pueden tomar la etapa prototipo y entrar en producción. ¡El 35% de los DSIS cuestionado dijo que ninguna de sus aplicaciones de IA construidas internamente ha excedido la etapa POC! Los CIO han tenido un poco más de éxito con las aplicaciones de IA de los proveedores, pero casi dos tercios de ellos todavía notaron una tasa de falla del 90 % con AI POC pilotado por proveedores.

Demasiada precipitación, no suficiente preparación

Incluso cuando las aplicaciones de IA se ponen en producción, muchos CIO no tienen una idea precisa de cómo definir su éxito. Por lo tanto, casi la mitad de la decisión de TI indican que no saben si sus aplicaciones de IA en la producción se traducen en ganancias, o piensan que es demasiado pronto para decirlo.

En muchos casos, las organizaciones parecen lanzar POC sin una preparación suficiente, subraya Daniel Saroff. Por ejemplo, muchos de ellos han lanzado proyectos de IA generativos sin haber limpiado y organizado sus datos internos de antemano. "Observamos que la falta de éxito de la IA generativa se explica en gran medida por un factor que, con un poco de retrospectiva, es obvia, es decir, los datos malos", dice el analista. Esta es una nueva tecnología que es objeto de una gran trilla de medios, la gente piensa que tienen que apresurarse, pero descuidar los preparativos necesarios. »»

La falta de control de datos y la gestión de acceso inadecuado parecen ser dos de los principales obstáculos para el éxito del IA POC, especifica Daniel Clydesdale-Cotter, DSI en Echostor, un distribuidor de soluciones de TI. "El hecho de que muchas empresas se apresuren a implementar la IA sin preguntarse quién posee los datos, dónde están y quién puede acceder a ellos a través de modelos de IA es particularmente preocupante", dice. La alta tasa de incertidumbre que rodea el éxito de los proyectos de IA probablemente indica que las empresas no han establecido límites claros entre la información patentada, los datos del cliente y la capacitación del modelo IA. »El control de acceso es de hecho un punto clave, según Daniel Clydesdale-Cotter. El equipo financiero de una organización no debe tener acceso a los datos utilizados en una herramienta de IA para recursos humanos y viceversa.

Tómese un descanso en el frenesí de POC

Además, el porcentaje de CIO no puede decir si sus IA POC tienen éxito sugiere una falta de planificación estratégica antes del lanzamiento de proyectos, aborda Michael Stoyanovich, vicepresidente y consultor de Segal, una compañía de consultoría especializada en recursos humanos y beneficios sociales. "Esta incertidumbre puede conducir a una pérdida de recursos y, lo que es más importante, a las oportunidades de mejora perdidas", dijo

En demasiados casos, las organizaciones parecen lanzar AI POC sin tener en cuenta el impacto en la empresa. Si bien algunos prototipos pueden hacer mejoras incrementales a la productividad interna, estos proyectos rara vez cambian la situación, subraya. "Las organizaciones se contentan con dar el paso y no establecer un plan estratégico para integrar la IA en su organización de manera reflexiva", agrega Michael Stoyanovich. No solo es apropiado, sino probablemente beneficioso, tomar un descanso. Para identificar una estrategia clara.

Los resultados de la encuesta IDC son "alarmantes", tanto porque casi un tercio de los CIO comprenden cómo medir el éxito de sus iniciativas y porque el 90 % o más de ellos fallan, agrega David Curtis, director técnico de Robobai, un fintech que utiliza la IA para ayudar a las empresas a administrar sus cadenas de suministro. Muchos POC parecen carecer de objetivos claros y KPI, subraya. Se unió a IDC en otro lugar para descubrir que muchas compañías están lanzando proyectos de IA con datos de calidad insuficientes o de baja calidad.

¿El fracaso del POC detendrá toda la experimentación?

Demasiadas personas empujan a las organizaciones a adoptar AI no entienden esta tecnología, dice el CTO. Muchos ejecutivos también tienen ideas preconcebidas sobre la cantidad de trabajo necesaria para implementar IA, y algunos piensan erróneamente que AI reemplazará a muchos empleados, agrega.

"La gente piensa que la IA es algo mágica, que resolverá todos los problemas a la vez", agrega. El uso de esta tecnología representa un esfuerzo relativamente grande, dependiendo del caso de uso. No se trata solo de tomar una solución en el estante y hacer que funcione. "En algunos casos, el fracaso de una iniciativa de IA puede ser organizaciones instructivas y orientas hacia proyectos más fructíferos, subraya David Curtis. Pero muchas organizaciones, después de haber notado el fracaso de una gran mayoría de sus POC, también pueden decidir detener cualquier experimento.

"Muchas empresas en las finanzas con la que trabajo no tienen cultura de riesgo", explica. Si algo falla cuando han invertido millones de dólares, es probable que no comiencen de nuevo. Para las empresas con aversión al riesgo, la buena planificación aguas arriba puede ser una mejor opción que lanzar docenas de POC, la mayoría de las cuales fallarán rápidamente. "Trate de eliminar parte de los riesgos antes de comenzar", aconseja David Curtis. En lugar de tener 37 POC, es mejor reducir su número a dos o tres, optando por iniciativas significativas para comenzar. "

Comience con las necesidades estratégicas

Daniel Clydesdale-Cotter, de Echostor, aconseja a CIO que examine cuidadosamente las necesidades estratégicas de la compañía antes de lanzar varios POC de IA. Al igual que Michael Stoyanovich, sugiere que las organizaciones se centran en proyectos de IA que brindan una ventaja competitiva en lugar de aquellas que traen mejoras de eficiencia incremental.

Una empresa con la que trabajó lanzó un proyecto para usar un modelo de idioma grande (LLM) para cumplir con las solicitudes de servicios de TI internos. Y el POC ha hecho posible reducir los gastos operativos. "El cliente realmente apreció los resultados", explica Daniel Clydesdale-Cotter. Pero la ecuación fue la siguiente: la compañía tendría que gastar más de un millón de dólares para operar este sistema en su centro de datos, solo con los nuevos requisitos en términos de hardware y software. Esta organización llegó a la siguiente conclusión: ¿por qué gastar un millón de dólares cuando podríamos contratar a cinco personas? ».