A Meta anunciou o lançamento do Code Llama, a sua nova ferramenta de IA para codificação.
O Code Llama é uma versão aperfeiçoada do Llama 2 LLM da Meta, que foi treinado para escrever e documentar código. A nova ferramenta pega em descrições de linguagem natural e transforma-as em código. Também pode depurar, explicar e documentar código que é fornecido como entrada.
Esta é uma óptima ferramenta para quem está a aprender a programar, mas são os engenheiros de software que mais beneficiarão com o Code Llama.
A ferramenta suporta a maioria das linguagens de programação populares, incluindo Python, C++, Java, PHP, Typescript (Javascript), C#, Bash, entre outras.
Com o Code Llama pode pedir-lhe para "Escrever uma função em Python para calcular os primeiros 100 números primos", e ele gera o código por si.
Ferramentas como o ChatGPT já permitem escrever código, mas o Code Llama tem uma série de características que podem torná-lo uma ferramenta de codificação melhor.
O ChatGPT tem uma janela de contexto entre 4.000 e 8.000 tokens, enquanto o Code Llama pode lidar com até 100.000 tokens de contexto. A primeira vantagem óbvia de ter uma janela de contexto maior é que pode escrever código substancialmente mais longo.
A perspetiva mais excitante é ser capaz de inserir um grande pedaço de código e então ter o Code Llama depurando-o para você. Se você quisesse usar o ChatGPT para fazer isso, teria que depurar pequenos pedaços de cada vez.
Hoje estamos a lançar o Code Llama, um grande modelo de linguagem construído sobre o Llama 2, aperfeiçoado para a codificação e o estado da arte para ferramentas de codificação publicamente disponíveis.
Mantendo a nossa abordagem aberta, o Code Llama está agora disponível ao público, tanto para investigação como para utilização comercial.
Mais ⬇️
- Meta AI (@MetaAI) 24 de agosto de 2023
A Meta lançou 3 tamanhos de Code Llama com parâmetros de 7B, 13B e 34B, respetivamente. Os modelos mais pequenos funcionam mais rapidamente, com menos capacidade de processamento necessária, mas são menos potentes do que o modelo 34B.
Os dois modelos mais pequenos também foram treinados com a capacidade de preenchimento do meio (FIM). Isto permite que um programador introduza o código existente e que o Code Llama trate das tarefas de preenchimento do código.
Para além dos modelos de base que suportam várias linguagens, a Meta lançou duas versões especificamente treinadas em Python e Instruct.
O Code Llama é bom?
A Meta realizou seus próprios testes de benchmarking e descobriu que o Code Llama "teve um desempenho melhor do que os LLMs de código aberto e específicos de código e superou o Llama 2".
Eis a tabela de referência que mostra como o Code Llama se compara a outros modelos.
Fonte: Meta
O GPT-4 ainda está à frente por alguma distância, mas é um modelo enorme e não é gratuito. O Code Llama é gratuito e a versão 7B pode ser executada na sua máquina local.
A utilização do GPT-4 requer que o seu código seja enviado através dos servidores da OpenAI e, para muitas empresas, isso representa um risco enorme para a sua propriedade intelectual.
Com o Code Llama a funcionar em servidores locais, não há risco de fuga de dados privados da empresa ou de serem utilizados para treinar outros modelos.
Para além dos modelos lançados, o Artigo de investigação sobre o código Llama fez referência a um modelo chamado "Unnatural Code Llama". Ele obteve 62,2% no benchmark HumanEval, que é muito próximo dos 67% do GPT-4.
Não se sabe quando é que esse modelo será lançado, mas esse tipo de desempenho é muito superior ao do PaLM Coder da Google e fará com que o GPT-4 seja difícil de vender.
