Eerder deze maand kondigde Meta aan dat het Llama 2 uitbracht en gratis beschikbaar stelde in samenwerking met Microsoft, maar nu zegt Meta dat het van plan is zijn nieuwste LLM te gelde te maken.
Llama is gratis te downloaden van Meta, Hugging Face en een paar andere platforms. Het downloaden is echter het makkelijke deel, de uitdaging is om het op een bruikbare manier te laten draaien. Je hebt veel rekenkracht nodig om Llama 2 zijn potentieel te laten waarmaken en dat is waar cloud computing diensten zoals Azure van Microsoft en AWS van Amazon om de hoek komen kijken.
Meta zei dat het ging samenwerken met Microsoft als voorkeurspartner voor cloud computing toen het kondigde de release van Llama 2 aan. Het is begrijpelijk dat Microsoft en andere aanbieders van cloud computing-diensten gebruikers willen laten betalen voor het gebruik van hun dure cloud computing-infrastructuur, maar Meta wil ook een graantje meepikken.
Hoewel Llama technisch gezien gratis is, heeft Meta gezegd dat bedrijven met 700 miljoen of meer actieve gebruikers per maand een licentie nodig hebben om het te kunnen gebruiken. Wat de licentie precies inhoudt is niet duidelijk, maar er zal wel wat geld naar Meta vloeien.
Tijdens een driemaandelijks winstgesprek zei Mark Zuckerberg: "Als je iemand bent zoals Microsoft, Amazon of Google en je gaat in principe de diensten doorverkopen, dan is dat iets waarvan wij vinden dat we daar een deel van de inkomsten voor moeten krijgen."
Over hoeveel geld we het hebben is onduidelijk, maar om te verwachten dat Facebook Llama 2 "gratis" weggeeft is misschien een beetje naïef. "Ik denk niet dat dat op korte termijn een groot bedrag aan inkomsten zal zijn, maar op de lange termijn kan dat hopelijk wel iets zijn," zei Zuckerberg.
een grote dag https://t.co/5CTqULsfuT
- Meta (@Meta) 18 juli 2023
Kun je Llama 2 echt gratis gebruiken?
Technisch gezien kun je Llama 2 gratis gebruiken, maar in de praktijk gaat het je geld kosten om dat te doen. Tenzij persoonlijke computerhardware veel krachtiger en goedkoper wordt, is cloud computing echt je beste optie.
Een ontwikkelaar legde uit hoe Llama 2 uit te rollen op je pc maar zijn resultaten laten het probleem zien van het proberen te draaien van de LLM op een lokale machine. Hij gaf niet aan welke CPU hij gebruikte, maar zei dat zijn machine 20 GB RAM had. Dat is een behoorlijke hoeveelheid RAM, maar het laden van het model duurde 51 seconden en het duurde bijna 4 minuten om een antwoord van 250 tokens te genereren op de vraag "Wat is de zin van het leven?".
Dezelfde zoekopdracht uitvoeren op Google's Colab gratis cloud computing service had 16 seconden nodig om dezelfde reactie te genereren. Colab is waarschijnlijk je beste kans om Llama 2 gratis te draaien, maar het is beperkt.
Meta zegt dus eigenlijk: "Hé, onze tool is gratis! Betaal die jongens om het model op hun GPU's te draaien en dan kunnen ze ons betalen.
Is Llama 2 echt open-source?
Behalve dat Llama 2 "gratis" is, maar niet echt, kreeg Meta ook kritiek omdat het refereerde aan de LLM als zijnde "open-source". Een blogbericht over de Open Source initiatief (OSI) legt uit dat om software echt open-source te laten zijn, de licentie niet mag beperken wie het mag gebruiken of hoe de software mag worden gebruikt.
Hoewel de mensen van OSI niet zeggen dat Meta geen commerciële beperkingen zou moeten opleggen, zouden ze gewoon liever hebben dat Zuckerberg Llama 2 niet open-source blijft noemen terwijl het dat eigenlijk niet is.
Ondanks het lawaai en de onzekerheid over hoe Meta het wil gaan gebruiken, zal het interessant zijn om te zien hoe bedrijven Llama 2 gaan gebruiken en hoe OpenAI en Stability AI reageren met hun aanbod.
