Modelo de lenguaje grande (LLM), capaz de utilizar mensajes de texto para generar líneas de código, Code Llama es una versión específica para desarrolladores de Llama 2. Como recordatorio la versión base de Llama 2 se lanzó el pasado mes de julio. ¿Qué tiene de especial Code Llama? Se han diseñado mediante una mayor capacitación de conjuntos de datos específicos de código, muestreando más datos del mismo conjunto de datos durante un período de tiempo más largo. Por lo tanto, Code Llama puede generar código y lenguaje natural a partir de indicaciones de código y lenguaje natural, como "Escríbeme una función que produzca la secuencia de Fibonacci". La herramienta también se puede utilizar para completar y depurar código. Los lenguajes admitidos son Python, C++, Java, PHP, TypeScript, JavaScript, C# y Bash.

Los desarrolladores pueden solicitar acceso a Code Llama en la página web de Meta AI. Gratis para investigación y uso comercial, Code Llama está disponible en tres modelos de 7, 13 y 34 mil millones de parámetros (7B, 13B y 34B). Cada modelo está entrenado con 500 mil millones de tokens de código y datos relacionados con el código. Los modelos base se entrenaron con la capacidad de completar en el medio (FIM), que brinda la posibilidad de insertar código en el código existente, lo que respalda tareas como la finalización del código. Código listo para usar.

Dos variantes orientadas a Python y al lenguaje natural

Los tres modelos de LLama Code cumplen con diferentes requisitos de servicio y latencia. Por ejemplo, el 7B se sirve en una sola GPU, mientras que el modelo 34B ofrece mejores resultados y asistencia de codificación. Meta ha refinado otras dos variantes de la herramienta: Code Llama - Python, refinado en 100 mil millones de tokens de código Python, y Code Llama - Instruct para comprender mejor las instrucciones en lenguaje natural.