El desarrollo se cita regularmente como una de las principales áreas generativas de AI generativas de aplicación. Escritura de código, documentación, transcodificación, prueba de juegos de prueba ... Los escenarios de uso mencionados son múltiples. Y las ganancias de productividad (a menudo hablamos de 30%) serían particularmente importantes. ¿Pero qué pasa en la realidad? Esta es la pregunta que el equipo de Google de Dora está tratando de decidir, en un informe publicado recientemente. Dora, acrónimo de DevOps Research and Evalation, es una iniciativa de investigación fundada en 2014 por tres pioneros de DevOps y comprada en 2018 por la firma Mountain View. Su informe anual, el "Informe del Estado de DevOps", se ha convertido en una referencia en el campo.

En informe Dedicado sobre el Genai, este equipo, por lo tanto, se pregunta sobre el impacto real de la IA para los profesionales. "Lo que parece claro es que la IA tiene un impacto sustancial y beneficioso en el flujo de trabajo, la productividad y la satisfacción laboral", escriben los autores. Este último evalúa la ganancia en la productividad individual en 2.1% cuando la adopción de la tecnología aumentó en un 25%. "Puede parecer poco, pero es un nivel individual. Imagine que este diagrama se extiende a docenas de desarrolladores, incluso decenas de miles", dijo el equipo de Dora.

Se parece crítico con el desbordamiento de la pila

Además, el aumento en el 25%de los usos de IA se asocia con un aumento neto en la calidad de la documentación (estimada en+7.5%) y una ganancia significativa en la calidad del código (+3.4%) y en la velocidad de las revisiones de código (+3.1%). El progreso es más marginal en términos de velocidad de aprobación y disminución en la complejidad del código. "Combinado con una posible reorganización del código heredado, el código de calidad generado por la IA podría conducir a bases de código en general. Incluso si es para este último, los desarrolladores deben continuar considerando la IA como un recurso que requiere crítica, verificación y mejora. Como lo hicieron con el desbordamiento de la pila.

Si, por lo tanto, las ganancias son medibles, en detalle, todo no es tan idílico. En el papel, se supone que la tecnología permite a los equipos centrarse en tareas de alta agregada, automatizando el trabajo repetitivo. "Sin embargo, nuestros datos sugieren que la mayor adopción de IA podría tener el efecto contrario, es decir, reducir el tiempo dedicado a tareas útiles, mientras que el tiempo dedicado a las tareas dolorosas no parece estar afectada", subrayan los investigadores.

Una entrega menos eficiente, un código menos estable

Este último explica esta paradoja por lo que llaman "la hipótesis del vacío". "Al aumentar la productividad y la fluidez, la IA ayuda a las personas a trabajar de manera más efectiva. Esta eficiencia les permite terminar el trabajo que consideran precioso más rápidamente", dice Dora. Por el contrario, el tiempo dedicado a un trabajo doloroso no parece verse afectado por la llegada de la tecnología. "La IA aún no ha logrado ayudarnos a evitar la tarea de reuniones, burocracia y muchas otras tareas tediosas", resume los autores.

Aún más sorprendente, cuando ha medido el progreso en aspectos específicos, el equipo de Dora señala que la adopción de IA ha tenido hasta ahora ... un impacto negativo en el rendimiento general en la producción de software. El efecto es limitado (una reducción del 1.5% cuando la adopción aumentó en un 25%), pero de hecho negativa. Y es aún peor en términos de la estabilidad del código entregado, este factor de caída del 7,2% cuando los usos del Genai aumentan un trimestre, según las estimaciones de Dora.

Una verdadera sorpresa para los investigadores para quienes, generalmente, cualquier progreso en el proceso de desarrollo (calidad de documentación, código, velocidad de las revistas de código ...) da como resultado mejoras en la entrega. "Presumimos que el cambio de paradigma fundamental que la IA ha producido en términos de productividad y velocidad de generación de código de los encuestados puede haberlo hecho olvidar uno de los principios más fundamentales de Dora, a saber, la importancia de muchos lotes", escriba los autores del informe. Prueba de que los equipos de DevOps aún deben domesticar la tecnología para convertirlo en un motor de eficiencia en el único indicador que realmente cuenta: su contribución a la evolución de la aplicación de su organización y la estabilidad de las aplicaciones establecidas en producción.