Al final del verano, Meta había lanzado Code Llama, un LLM perfilado para desarrolladoresHoy, la empresa está mejorando su generador de código con Llama 70B. Derivado de Llama 2, se ha entrenado con más de 500 mil millones de tokens de código y datos relacionados, lo que significa que es mucho más eficiente y robusto que las iteraciones anteriores del modelo. También se beneficia de una ventana de contexto más grande de 100.000 tokens, lo que le permite generar códigos más complejos.

La empresa pone a disposición del público varias variantes de Code Llama 70B, incluida una conocida como CodeLlama-70B-Instruct. Puede realizar varias tareas de lenguaje natural, como ordenar, buscar, filtrar y manipular datos, así como implementar algoritmos, como búsqueda binaria y factorial.

Optimizaciones para Python

CodeLlama-70B-Python es una iteración optimizada para generar código solo en Python. Se ha mejorado con 100 mil millones de tokens adicionales basados ​​en código Python para garantizar una mayor precisión y fluidez en el lenguaje. Es capaz de manejar una variedad de tareas, que incluyen web scraping, análisis de datos, aprendizaje automático (ML) y desarrollo web. Los modelos Code Llama 70B están disponibles para descargar ahora a través de una variedad de plataformas, incluidas Hugging Face, PyTorch, Jupyter Notebook y TensorFlow.

Mark Zuckerberg, CEO de Meta, anunció personalmente este modelo en un mensaje público en Facebook. "La escritura y edición de código se ha convertido en uno de los usos más importantes de los modelos de IA en la actualidad". Y añade: "La capacidad de codificar también ha demostrado ser importante para que los modelos de IA procesen información en otros dominios de una manera más rigurosa y lógica. Estoy orgulloso de los avances logrados en este ámbito y espero integrar estos avances en Llama 3 y en futuros modelos". El mercado de generación de código es muy prometedor, e incluye a varios actores como Copilot de GitHub (basado en OpenAI), pero también Code Whisperer de AWS o AI Code Generation de Google Cloud.