Meta kunngjorde lanseringen av Code Llama, det nye AI-verktøyet for koding.
Code Llama er en finjustert versjon av Metas Llama 2 LLM, som har blitt trent opp til å skrive og dokumentere kode. Det nye verktøyet tar beskrivelser på naturlig språk og gjør dem om til kode. Det kan også feilsøke, forklare og dokumentere kode som leveres som input.
Dette er et flott verktøy for deg som nettopp har begynt å lære å kode, men det er programvareingeniører som vil ha størst nytte av Code Llama.
Verktøyet støtter de fleste populære programmeringsspråk, inkludert Python, C++, Java, PHP, Typescript (Javascript), C#, Bash og andre.
Med Code Llama kan du be den om å "skrive en funksjon i Python for å beregne de 100 første primtallene", og så genererer den koden for deg.
Verktøy som ChatGPT kan allerede skrive kode, men Code Llama har en rekke funksjoner som uten tvil kan gjøre det til et bedre kodingsverktøy.
ChatGPT har et kontekstvindu på mellom 4 000 og 8 000 tokens, mens Code Llama kan håndtere opptil 100 000 tokens med kontekst. Den første åpenbare fordelen med å ha et større kontekstvindu er at det er mulig å skrive vesentlig lengre kode.
Det som er mer spennende, er å kunne legge inn en stor mengde kode og deretter få Code Llama til å feilsøke den for deg. Hvis du vil bruke ChatGPT til å gjøre det, må du feilsøke små biter om gangen.
I dag lanserer vi Code Llama, en stor språkmodell bygget på toppen av Llama 2, finjustert for koding og toppmoderne for offentlig tilgjengelige kodingsverktøy.
I tråd med vår åpne tilnærming er Code Llama nå offentlig tilgjengelig for både forskning og kommersiell bruk.
Mer ⬇️
- Meta AI (@MetaAI) 24. august 2023
Meta har gitt ut 3 størrelser av Code Llama med henholdsvis 7B, 13B og 34B parametere. De mindre modellene kjører raskere og krever mindre prosessorkraft, men er mindre kraftige enn 34B-modellen.
De to mindre modellene har også blitt trent opp med FIM-funksjonalitet (fill-in-the-middle). Dette gjør det mulig for en programmerer å legge inn eksisterende kode og la Code Llama ta seg av kodekompletteringsoppgaver.
I tillegg til de grunnleggende modellene som støtter flere språk, har Meta lansert to versjoner som er spesielt trent på Python og Instruct.
Er Code Llama noe bra?
Meta utførte sine egne benchmarking-tester og fant at Code Llama "presterte bedre enn åpen kildekode, kodespesifikke LLM-er og utkonkurrerte Llama 2".
Her er referansetabellen som viser hvordan Code Llama er sammenlignet med andre modeller.
Kilde: Meta
GPT-4 ligger fortsatt et stykke foran, men det er en stor modell, og den er ikke gratis. Code Llama er gratis, og 7B-versjonen kan kjøres på din lokale maskin.
Bruk av GPT-4 krever at koden din sendes gjennom OpenAIs servere, og for mange selskaper representerer det en stor risiko for deres immaterielle rettigheter.
Siden Code Llama kjører på lokale servere, er det ingen risiko for at private bedriftsdata lekker ut eller brukes til å trene opp andre modeller.
I tillegg til de lanserte modellene, er Forskningsoppgave om Code Llama refererte til en modell kalt "Unnatural Code Llama". Den fikk 62,2% på HumanEval-referansen, noe som er veldig nær GPT-4s 67%.
Det er ikke kjent når denne modellen vil bli lansert, men den typen ytelse slår Googles PaLM Coder ut av vannet og vil til og med gjøre GPT-4 vanskelig å selge.
