La pregunta está en el centro de las discusiones entre los tomadores de decisiones de TI, la gerencia general y los profesionales: ¿qué podemos esperar de los LLM en términos de ganancias de productividad? ¿Y dónde pueden insertarse en los procesos de negocio para beneficiarse de ellos? Es este problema el que se está abordando. un estudio de Harvard Business School, en colaboración con la consultora Boston Consulting Group (BCG) e investigadores de otras escuelas de gestión estadounidenses. Y lo menos que podemos decir es que la respuesta a las preguntas planteadas no es nada sencilla. Ciertamente, según los autores, los resultados muestran que la generación de LLM actualmente disponible es bastante capaz de generar aumentos significativos en la calidad y la productividad, o incluso automatizar completamente ciertas tareas. Sin embargo, identificar el trabajo automatizable sigue siendo complejo.

"Las tareas que la IA realmente puede realizar son sorprendentes y no todas son inmediatamente identificables de una manera que sea obvia para los usuarios, o incluso para los propios productores de LLM", escriben los investigadores. Y hablar de una “frontera tecnológica irregular”, que habrá que aclarar profesión por profesión, tarea por tarea. "Algunas tareas inesperadas, como la generación de ideas, son fáciles de manejar para las IA, mientras que otras que uno pensaría que serían fáciles de manejar para una máquina, como las matemáticas básicas, son verdaderos desafíos para algunos LLM", especifican los autores del estudio.

De un lado y del otro de la frontera

Para llegar a esta conclusión, el estudio se basa en el análisis de experiencias realizadas con 758 consultores de BCG, divididos en tres categorías: un grupo que no tiene acceso a IA, otro que se beneficia de GPT-4 y un último de GPT-4 enriquecido. con rápidos mecanismos de ingeniería. "Algunas tareas son fácilmente realizadas por la IA, mientras que otras, aunque aparentemente tienen un nivel de dificultad similar, están más allá del alcance de sus capacidades actuales", escriben los autores del estudio.

Para los investigadores de la Harvard Business School, utilizar bien los LLM significa definir, profesión por profesión, la frontera donde esta tecnología permite mejorar el trabajo humano.

Por un lado, para las 18 tareas ubicadas dentro de esta 'frontera' virtual entre tareas fáciles de realizar por IA y tareas fuera de su alcance, los consultores que utilizaron IA fueron significativamente más productivos (con un 12,2% más de tareas en promedio y un 25,1% menos). tareas). Produjeron resultados de una calidad significativamente mayor (más de un 40% más de calidad en comparación con un grupo de control). Por otro lado, para una tarea seleccionada como fuera del "límite", los consultores que utilizaron IA produjeron aproximadamente un 20% menos de respuestas correctas en comparación con aquellos que no utilizaron esta tecnología. Por lo tanto, la integración de la IA generativa en los procesos de negocio se reduce en gran medida a trazar este límite y monitorear su evolución. Porque más allá de esto, la tecnología tiene tendencia a producir resultados incorrectos pero plausibles (alucinaciones), y a cometer otro tipo de errores, incluso en matemáticas y al proporcionar citas.

Sin olvidar otro factor de complejidad: los beneficios que aporta la IA difieren mucho en función de las habilidades específicas de cada individuo. En el estudio de la Harvard Business School, los consultores por debajo del umbral de desempeño promedio se beneficiaron de un aumento del 43% en comparación con su propia puntuación sin IA, mientras que entre los consultores más avanzados, estas ganancias de productividad se limitan al 17%.