Tidligere denne måneden kunngjorde Meta at de skulle lansere Llama 2 og gjøre den tilgjengelig gratis i samarbeid med Microsoft, men nå sier Meta at de planlegger å tjene penger på sin nyeste LLM.
Llama er tilgjengelig for nedlasting gratis fra Meta, Hugging Face og noen få andre plattformer. Nedlastingen er imidlertid den enkle delen, og utfordringen er å få det til å kjøre på en brukbar måte. Du trenger mye datakraft for å få Llama 2 til å levere potensialet sitt, og det er her cloud computing-tjenester som Microsofts Azure og Amazons AWS kommer inn i bildet.
Meta sa at de samarbeidet med Microsoft som sin foretrukne cloud computing-partner da de kunngjorde lanseringen av Llama 2. Det er forståelig at Microsoft og andre leverandører av nettskytjenester ønsker å ta betalt for å bruke deres kostbare nettskyinfrastruktur, men Meta vil også ha en del av kaka.
Mens Llama teknisk sett er gratis, har Meta sagt at selskaper med 700 millioner eller flere aktive brukere per måned må skaffe seg en lisens for å bruke den. Nøyaktig hva lisensen vil innebære er ikke klart, men det vil innebære at noen penger flyter Metas vei.
Under en kvartalsvis inntjeningssamtale sa Mark Zuckerberg: "Hvis du er noen som Microsoft, Amazon eller Google, og du i utgangspunktet kommer til å videreselge tjenestene, er det noe vi mener vi bør få en del av inntektene for."
Hvor mye penger det er snakk om er uklart, men å forvente at Facebook skal gi bort Llama 2 "gratis" er kanskje litt naivt. "Jeg tror ikke det kommer til å bli en stor inntekt på kort sikt, men på lang sikt kan det forhåpentligvis bli noe", sa Zuckerberg.
en stor dag https://t.co/5CTqULsfuT
- Meta (@Meta) 18. juli 2023
Kan du virkelig bruke Llama 2 gratis?
Teknisk sett kan du bruke Llama 2 gratis, men i praksis kommer det til å koste deg en del penger. Med mindre maskinvaren blir mye kraftigere og billigere, er det beste alternativet å bruke nettskyen.
En utvikler forklarte hvordan du installerer Llama 2 på din personlige datamaskin men resultatene hans belyser problemet med å prøve å kjøre LLM på en lokal maskin. Han spesifiserte ikke hvilken CPU han brukte, men sa at maskinen hans hadde 20 GB RAM. Det er en anstendig mengde RAM, men det tok 51 sekunder å laste inn modellen, og det tok nesten fire minutter å generere et svar på 250 symboler på spørsmålet "Hva er meningen med livet?".
Ved å kjøre samme spørring på Googles Colab gratis cloud computing-tjeneste brukte 16 sekunder på å generere det samme svaret. Colab er sannsynligvis det beste alternativet for å kjøre Llama 2 gratis, men det er begrenset.
Så Meta sier i utgangspunktet: "Hei, verktøyet vårt er gratis! Betal dem for å kjøre modellen på GPU-ene sine, og så kan de betale oss.
Er Llama 2 virkelig åpen kildekode?
I tillegg til at Llama 2 er "gratis", men egentlig ikke er det, ble Meta også kritisert for å omtale LLM som "åpen kildekode". Et blogginnlegg på Initiativ for åpen kildekode (OSI) forklarer at for at en programvare virkelig skal være åpen kildekode, kan ikke lisensen begrense hvem som kan bruke den, eller hvordan programvaren kan brukes.
Selv om folkene i OSI ikke sier at Meta ikke bør innføre kommersielle begrensninger, skulle de bare helst sett at Zuckerberg ikke fortsatte å kalle Llama 2 for åpen kildekode når det egentlig ikke er det.
Til tross for støyen og usikkerheten rundt hvordan Meta planlegger å bruke den, blir det interessant å se hvordan selskaper vil bruke Llama 2, og hvordan OpenAI og Stability AI svarer med sine tilbud.
