Meta annoncerede udgivelsen af Code Llama, deres nye AI-værktøj til kodning.
Code Llama er en finjusteret version af Meta's Llama 2 LLM, som er blevet trænet til at skrive og dokumentere kode. Det nye værktøj tager beskrivelser på naturligt sprog og omdanner dem til kode. Det kan også debugge, forklare og dokumentere kode, der leveres som input.
Det er et godt værktøj, hvis du lige har lært at kode, men det er softwareingeniører, der får mest ud af Code Llama.
Værktøjet understøtter de fleste af de populære programmeringssprog, herunder Python, C++, Java, PHP, Typescript (Javascript), C#, Bash og andre.
Med Code Llama kan du bede den om at "skrive en funktion i Python til at udregne de første 100 primtal", og så genererer den koden for dig.
Værktøjer som ChatGPT kan allerede skrive kode, men Code Llama har en række funktioner, der uden tvivl kan gøre det til et bedre kodningsværktøj.
ChatGPT har et kontekstvindue på mellem 4.000 og 8.000 tokens, mens Code Llama kan håndtere op til 100.000 tokens kontekst. Den første åbenlyse fordel ved at have et større kontekstvindue er, at det er muligt at skrive væsentligt længere kode.
Det er mere spændende at kunne indtaste et stort stykke kode og så få Code Llama til at debugge det for dig. Hvis du ville bruge ChatGPT til det, skulle du debugge små stykker ad gangen.
I dag udgiver vi Code Llama, en stor sprogmodel bygget oven på Llama 2, finjusteret til kodning og state-of-the-art til offentligt tilgængelige kodningsværktøjer.
I overensstemmelse med vores åbne tilgang er Code Llama nu offentligt tilgængelig for både forskning og kommerciel brug.
Mere ⬇️
- Meta AI (@MetaAI) 24. august 2023
Meta har udgivet 3 størrelser af Code Llama med henholdsvis 7B, 13B og 34B parametre. De mindre modeller kører hurtigere og kræver mindre processorkraft, men er mindre kraftfulde end 34B-modellen.
De to mindre modeller er også blevet trænet med fill-in-the-middle (FIM) kapacitet. Det gør det muligt for en programmør at indtaste eksisterende kode og få Code Llama til at håndtere kodekomplettering.
Ud over de grundlæggende modeller, der understøtter flere sprog, har Meta udgivet to versioner, der er specifikt trænet i Python og Instruct.
Er Code Llama noget værd?
Meta udførte sine egne benchmarking-tests og fandt ud af, at Code Llama "klarede sig bedre end open source, kodespecifikke LLM'er og overgik Llama 2."
Her er benchmarktabellen, der viser, hvordan Code Llama klarer sig i forhold til andre modeller.
Kilde: Meta
GPT-4 er stadig foran med en vis afstand, men det er en stor model, og den er ikke gratis. Code Llama er gratis, og 7B-versionen kan køre på din lokale maskine.
Brug af GPT-4 kræver, at din kode sendes gennem OpenAI's servere, og for mange virksomheder er det et stort problem. stor risiko for deres intellektuelle ejendom.
Da Code Llama kører på lokale servere, er der ingen risiko for, at private virksomhedsdata bliver lækket eller brugt til at træne andre modeller.
Ud over de udgivne modeller er Forskningspapir om Code Llama refererede til en model kaldet "Unnatural Code Llama". Den scorede 62,2% på HumanEval-benchmarket, hvilket er meget tæt på GPT-4's 67%.
Der er ikke noget nyt om, hvornår den model udkommer, men den form for ydeevne slår Googles PaLM Coder ud af kurs og vil endda gøre GPT-4 svær at sælge.
