Meta kondigde de release aan van Code Llama, zijn nieuwe AI-tool voor codering.
Code Llama is een verfijnde versie van Meta's Llama 2 LLM, die getraind is om code te schrijven en te documenteren. De nieuwe tool neemt beschrijvingen in natuurlijke taal en zet deze om in code. Het kan ook code debuggen, uitleggen en documenteren die als invoer wordt aangeleverd.
Dit is een geweldig hulpmiddel als je net leert coderen, maar het zijn software-engineers die het meest zullen profiteren van Code Llama.
De tool ondersteunt de meeste populaire programmeertalen, waaronder Python, C++, Java, PHP, Typescript (Javascript), C#, Bash en andere.
Met Code Llama kun je vragen om "Schrijf een functie in Python om de eerste 100 priemgetallen te berekenen" en het zal de code voor je genereren.
Tools zoals ChatGPT kunnen al code schrijven, maar Code Llama heeft een aantal functies die het misschien wel een betere codeertool maken.
ChatGPT heeft een contextvenster van tussen de 4.000 en 8.000 tokens, terwijl Code Llama tot 100.000 tokens aan context kan verwerken. Het eerste voor de hand liggende voordeel van een groter contextvenster is dat er aanzienlijk langere code geschreven kan worden.
Het spannendere vooruitzicht is om een groot stuk code te kunnen invoeren en het dan door Code Llama voor je te laten debuggen. Als je ChatGPT zou willen gebruiken om dat te doen, zou je kleine stukjes per keer moeten debuggen.
Vandaag introduceren we Code Llama, een groot taalmodel gebouwd bovenop Llama 2, verfijnd voor codering en state-of-the-art voor publiek beschikbare coderingstools.
In lijn met onze open aanpak is Code Llama nu publiekelijk beschikbaar voor zowel onderzoek als commercieel gebruik.
Meer ⬇️
- Meta AI (@MetaAI) 24 augustus 2023
Meta heeft 3 formaten Code Llama uitgebracht met respectievelijk 7B, 13B en 34B parameters. De kleinere modellen draaien sneller en hebben minder rekenkracht nodig, maar zijn minder krachtig dan het 34B-model.
De twee kleinere modellen zijn ook getraind met fill-in-the-middle (FIM) mogelijkheden. Hierdoor kan een programmeur bestaande code invoeren en Code Llama de voltooiingstaken laten afhandelen.
Naast de basismodellen die meerdere talen ondersteunen, heeft Meta twee versies uitgebracht die specifiek zijn getraind op Python en Instruct.
Is Code Llama goed?
Meta voerde zijn eigen benchmarktests uit en ontdekte dat Code Llama "beter presteerde dan open-source, code-specifieke LLM's en beter presteerde dan Llama 2."
Hier is de benchmarktabel die laat zien hoe Code Llama zich verhoudt tot andere modellen.
Bron: Meta
GPT-4 ligt nog steeds ver voor, maar het is een enorm model en het is niet gratis. Code Llama is gratis en de 7B-versie kan op je lokale machine draaien.
Het gebruik van GPT-4 vereist dat je code via de servers van OpenAI wordt verzonden en voor veel bedrijven is dat een groot probleem. enorm risico voor hun intellectuele eigendom.
Omdat Code Llama op lokale servers draait, is er geen risico dat privégegevens van bedrijven uitlekken of worden gebruikt om andere modellen te trainen.
Naast de uitgebrachte modellen zijn de Code Llama onderzoeksverslag verwezen naar een model met de naam "Unnatural Code Llama". Deze scoorde 62,2% in de HumanEval benchmark, wat erg dicht in de buurt komt van de 67% van GPT-4.
Er is nog niets bekend over wanneer dat model zal worden uitgebracht, maar dat soort prestaties blaast Google's PaLM Coder uit het water en zal het zelfs moeilijk maken om GPT-4 te verkopen.
