¿Qué tan bueno es ChatGPT para corregir errores automáticamente?

La ola de ChatGPT no ha terminado de romperse. Esta vez, los investigadores estaban interesados ​​en las capacidades de la herramienta OpenAI en términos de corrección automática de errores de software. En un estudio, pudieron demostrar que ChatGPT funciona bien en esta área en comparación con otros métodos de aprendizaje profundo como CoCoNut y Codex (la IA detrás de Copilot de GitHub). Aún mejor: el bot logra superar bien los parches estándar.

El documento de investigación indica en particular que ChatGPT puede corregir errores casi la mitad de las veces, solucionando 19 de 40 problemas, tanto como CoCoNut pero un poco menos que Codex (21). Por otro lado, frente a los métodos estándar de corrección de errores, la herramienta OpenAI es muy superior, esta última solo detecta 7 de 40 problemas. Usar la opción de diálogo de ChatGPT y brindar más información sobre el error en una solicitud de seguimiento aumenta aún más el rendimiento, con un éxito general que alcanza el 77,5 %. "Muestra que un programa de reparación automatizado puede ayudar mucho a la intervención humana, y ChatGPT se está posicionando para hacer precisamente eso".

Un nivel de aceptación de errores que el humano debe considerar

¿Son estos resultados suficientes para hacer que el bot de OpenAI sea una herramienta de corrección de errores imperdible? No estoy tan seguro: “A pesar de su excelente desempeño, surge la pregunta de si el costo mental requerido para verificar las respuestas de ChatGPT supera los beneficios que brinda la herramienta”, advierte la investigación. “Quizás la incorporación de enfoques automatizados para proporcionar sugerencias a ChatGPT, así como la verificación automática de sus respuestas, por ejemplo, a través de pruebas automáticas, haría de ChatGPT una herramienta viable para ayudar a los desarrolladores con sus tareas. diariamente". ¿Quién habló de devolver la patata caliente a los humanos?

A la espera de responder a esta pregunta, el equipo editorial de Le Monde Informatique et Enjeux le ofrece una serie de videos sobre ChatGPT, incluido el primero con Alexei Grinbaum, director de investigación de la CEA y presidente del Comité Operativo Piloto de Ética Digital (CNPEM) , para descubrir la parte inferior de su motor.