Meta a annoncé la sortie de Code Llama, son nouvel outil d'IA pour le codage.
Code Llama est une version affinée du Llama 2 LLM de Meta, qui a été formé pour écrire et documenter du code. Le nouvel outil prend des descriptions en langage naturel et les transforme en code. Il peut également déboguer, expliquer et documenter le code fourni en entrée.
C'est un outil formidable si vous apprenez à coder, mais ce sont les ingénieurs en logiciel qui bénéficieront le plus de Code Llama.
L'outil prend en charge la plupart des langages de programmation courants, notamment Python, C++, Java, PHP, Typescript (Javascript), C#, Bash, etc.
Avec Code Llama, vous pouvez lui demander d'"écrire une fonction en Python pour calculer les 100 premiers nombres premiers", et il générera le code pour vous.
Des outils comme ChatGPT permettent déjà d'écrire du code, mais Code Llama possède un certain nombre de caractéristiques qui en font sans doute un meilleur outil de codage.
ChatGPT dispose d'une fenêtre de contexte de 4 000 à 8 000 tokens, tandis que Code Llama peut gérer jusqu'à 100 000 tokens de contexte. Le premier avantage évident d'une fenêtre de contexte plus grande est qu'elle permet d'écrire un code beaucoup plus long.
La perspective la plus excitante est de pouvoir saisir un gros morceau de code et de le faire déboguer par le lama du code. Si vous vouliez utiliser ChatGPT pour faire cela, vous devriez déboguer de petits morceaux à la fois.
Aujourd'hui, nous publions Code Llama, un grand modèle de langage construit à partir de Llama 2, adapté au codage et à l'état de l'art des outils de codage accessibles au public.
Conformément à notre approche ouverte, Code Llama est désormais accessible au public, tant pour la recherche que pour un usage commercial.
Plus d'informations ⬇️
- Meta AI (@MetaAI) 24 août 2023
Meta a publié 3 tailles de Code Llama avec des paramètres de 7B, 13B et 34B respectivement. Les modèles les plus petits fonctionnent plus rapidement et nécessitent moins de puissance de traitement, mais ils sont moins puissants que le modèle 34B.
Les deux plus petits modèles ont également été entraînés avec la capacité de remplir le milieu (FIM). Cela permet à un programmeur de saisir un code existant et de laisser Code Llama s'occuper des tâches d'achèvement du code.
Outre les modèles de base qui prennent en charge plusieurs langues, Meta a publié deux versions spécifiquement formées à Python et Instruct.
Code Llama est-il bon ?
Meta a effectué ses propres tests d'étalonnage et a constaté que Code Llama "était plus performant que les LLM open-source spécifiques au code et qu'il surpassait Llama 2".
Voici le tableau de comparaison entre le Code Llama et d'autres modèles.
Source : Méta
GPT-4 est toujours en tête, mais c'est un modèle énorme, et il n'est pas gratuit. Code Llama est gratuit et la version 7B peut fonctionner sur votre machine locale.
L'utilisation de GPT-4 exige que votre code soit envoyé à travers les serveurs d'OpenAI et, pour beaucoup d'entreprises, cela représente une perte de temps et d'argent. un risque énorme pour leur propriété intellectuelle.
Le lama code fonctionnant sur des serveurs locaux, il n'y a aucun risque que des données privées de l'entreprise soient divulguées ou utilisées pour entraîner d'autres modèles.
En plus des modèles publiés, la Document de recherche Code Llama a référencé un modèle appelé "Unnatural Code Llama". Il a obtenu un score de 62,2% sur le benchmark HumanEval, ce qui est très proche des 67% de GPT-4.
Nous ne savons pas encore quand ce modèle sera commercialisé, mais ce type de performances fait voler en éclats le PaLM Coder de Google et rendra même le GPT-4 plus difficile à vendre.
