Meta ha annunciato il rilascio di Code Llama, il suo nuovo strumento di intelligenza artificiale per la codifica.
Code Llama è una versione perfezionata di Llama 2 LLM di Meta, addestrato a scrivere e documentare codice. Il nuovo strumento prende le descrizioni in linguaggio naturale e le trasforma in codice. Può anche eseguire il debug, spiegare e documentare il codice fornito come input.
Si tratta di un ottimo strumento per chi sta imparando a codificare, ma sono gli ingegneri del software che trarranno i maggiori benefici da Code Llama.
Lo strumento supporta la maggior parte dei linguaggi di programmazione più diffusi, tra cui Python, C++, Java, PHP, Typescript (Javascript), C#, Bash e altri.
Con Code Llama potete chiedergli "Scrivi una funzione in Python per calcolare i primi 100 numeri primi" e genererà il codice per voi.
Strumenti come ChatGPT sono già in grado di scrivere codice, ma Code Llama ha una serie di caratteristiche che probabilmente lo rendono uno strumento di codifica migliore.
ChatGPT ha una finestra di contesto compresa tra 4.000 e 8.000 token, mentre Code Llama può gestire fino a 100.000 token di contesto. Il primo ovvio vantaggio di avere una finestra di contesto più grande è che si può scrivere codice sostanzialmente più lungo.
La prospettiva più eccitante è quella di poter inserire un'enorme porzione di codice e poi far eseguire il debug a Code Llama. Se si volesse usare ChatGPT per farlo, si dovrebbe eseguire il debug di piccoli pezzi alla volta.
Oggi rilasciamo Code Llama, un modello linguistico di grandi dimensioni costruito sulla base di Llama 2, ottimizzato per la codifica e all'avanguardia per gli strumenti di codifica disponibili pubblicamente.
In linea con il nostro approccio aperto, Code Llama è ora disponibile pubblicamente sia per la ricerca che per l'uso commerciale.
Di più ⬇️
- Meta AI (@MetaAI) 24 agosto 2023
Meta ha rilasciato 3 dimensioni di Code Llama, rispettivamente con parametri 7B, 13B e 34B. I modelli più piccoli funzionano più velocemente e richiedono meno potenza di elaborazione, ma sono meno potenti del modello 34B.
I due modelli più piccoli sono stati addestrati anche con la capacità di fill-in-the-middle (FIM). Ciò consente al programmatore di inserire il codice esistente e a Code Llama di gestire le attività di completamento del codice.
Oltre ai modelli di base che supportano più lingue, Meta ha rilasciato due versioni specificamente addestrate su Python e Instruct.
Code Llama è un buon prodotto?
Meta ha eseguito i propri test di benchmarking e ha scoperto che Code Llama "si è comportato meglio degli LLM open-source specifici per il codice e ha superato Llama 2".
Ecco la tabella di benchmark che mostra il confronto tra Code Llama e altri modelli.
Fonte: Meta
GPT-4 è ancora in vantaggio, ma è un modello enorme e non è gratuito. Code Llama è gratuito e la versione 7B può essere eseguita sulla vostra macchina locale.
L'utilizzo di GPT-4 richiede che il codice venga inviato attraverso i server di OpenAI e per molte aziende ciò rappresenta un enorme rischio per la loro proprietà intellettuale.
Con Code Llama in esecuzione su server locali, non c'è il rischio che i dati aziendali privati vengano divulgati o utilizzati per addestrare altri modelli.
Oltre ai modelli rilasciati, il Documento di ricerca su Code Llama ha fatto riferimento a un modello chiamato "Unnatural Code Llama". Ha ottenuto un punteggio di 62,2% nel benchmark HumanEval, che si avvicina molto ai 67% del GPT-4.
Non si sa ancora quando questo modello verrà rilasciato, ma questo tipo di prestazioni fa saltare in aria il PaLM Coder di Google e renderà il GPT-4 un prodotto difficile da vendere.
