En ocasión de lanzamiento de su LLM multimodal Gemini, Google aprovechó para desempolvar su solución de generación de código, AlphaCode. La segunda versión ahora se basa en Gemini Pro y pretende ser una respuesta a Copilot de GitHub (que aprovecha GPT de OpenAI), pero también a otros competidores como CodeWhisperer de AWS o más reciente Código Llama de Meta.
Según Google, este servicio supone una clara mejora respecto al anterior y será más de 10.000 veces más eficiente en cuanto a muestras. Solo requiere generar 100 muestras para lograr el mismo rendimiento que AlphaCode, que requirió un millón.
Mejores resultados en 12 competiciones de Code Forces
Según un informe de investigación de Google, el modelo se perfeccionó en otro conjunto de datos de mayor calidad. Cuando AlphaCode 2 fue probado en 77 problemas en 12 competiciones de CodeForces, donde compitió contra más de 8.000 programadores en total, pudo resolver casi la mitad de ellos, por ejemplo. “Al comparar las clasificaciones de la competencia, estimamos que AlphaCode 2 está en promedio en el percentil 85, es decir, funciona mejor que 85 [pour cent des participants]ubicándose justo entre las categorías Experto y Maestro Candidato en Codeforces”, los investigadores dijeron.
Otras noticias que te pueden interesar