Meta ha presentato l'attesissima serie Llama 3. I primi due modelli, Llama 3-8B e Llama 3-70B, sono ora ampiamente disponibili.
Giorni fa, in occasione di un evento a LondraI dirigenti di Meta, Nick Clegg e Yann LeCun, hanno dichiarato che Llama 3 è imminente questo mese.
Le prime due versioni sono state rilasciate oggi, segnando il terzo e il quarto modello aperto di rilievo da rilasciare questo mese dopo Grok-1.5V di xAI e Mistral 8x22B.
Lama 3 è pre-addestrato su ben 15 trilioni di token, un aumento di 7 volte rispetto a Llama 2. I dati di pre-addestramento includono anche un numero di codici quattro volte superiore.
Sotto il cofano, Llama 3 introduce miglioramenti architettonici come un tokenizer più efficiente con un vocabolario più ampio di 128K tokens.
Ecco un breve riassunto delle prestazioni di Llama 3:
Prestazioni di Llama 3 8B:
- Supera modelli come il 7B di Mistral e il Gemma 7B di Google in diversi benchmark.
- Eccelle in MMLU, ARC, DROP, GPQA (domande principalmente scientifiche), HumanEval (generazione di codici), GSM-8K (problemi matematici), MATH (benchmark matematico), AGIEval (risoluzione di problemi) e BIG-Bench Hard (ragionamento di senso compiuto).
70B a confronto con altri modelli:
- Llama 3 70B è competitivo con i migliori modelli di AI come Gemini 1.5 Pro di Google.
- Batte Gemini 1.5 Pro in MMLU, HumanEval e GSM-8K.
- Ha ottenuto risultati migliori del Claude 3 Sonnet di Anthropic (il livello intermedio della serie Claude 3) su cinque benchmark: MMLU, GPQA, HumanEval, GSM-8K e MATH.
Sono punteggi eccellenti per un modello aperto (anche se la licenza di Meta ha alcune limitazioni).
Questo fa di Llama 3 il nuovo modello open-source (più o meno) gratuito più performante.
Llama 3 sarà anche più gradevole e meno ostinato da usare, con un minor numero di mancate risposte e una maggiore accuratezza per le domande di tipo trivia, i fatti storici e le domande di tipo STEM.
Llama 3 è pronto a diventare ampiamente disponibile sulle principali piattaforme, compresi i servizi cloud e i fornitori di API.
Meta sta già lavorando per espandere Llama 3 a 400 miliardi di parametri e aggiungere nuove funzioni come la multimodalità, il supporto multilingue e la comprensione contestuale estesa.
Il ruolo di Meta nell'IA generativa
Per molti versi, Meta è emerso come il ribelle del settore dell'IA generativa.
Yann LeCun, Chief AI Scientist di Meta, una delle figure più rispettate nel campo dell'intelligenza artificiale, ha una posizione che alcuni interpretano come opinioni dissenzienti sulla direzione di AI - che criticano i progetti closed-source dei concorrenti Big Tech di Meta.
Nel frattempo, l'ex vice primo ministro britannico Nick Clegg, responsabile degli Affari Globali, è stato chiamato in causa per le sue opinioni a volte permissive sui prodotti di intelligenza artificiale di Meta, cosa che potrebbe non sorprendere i britannici là fuori.
La scorsa settimana, Clegg sembrava minimizzare l'impatto dell'IA sull'elettorato e sulla manipolazione dei deep fake. Un'opinione che contrasta molto con la narrazione prevalente secondo cui le falsificazioni profonde potrebbero essere (o sono già) profondamente distruttive.
Di fatto, la commissione di supervisione di Meta è indagare attivamente due casi di pornografia fittizia in questo momento. Il Consiglio ha ritenuto che le azioni di moderazione dei contenuti di Meta fossero troppo lente.
Meta si è detta ottimista anche sul miglioramento della qualità dei suoi modelli. Joelle Pineau, vicepresidente della ricerca sull'intelligenza artificiale di Meta, ha dichiarato: "Per molti versi, i modelli che abbiamo oggi saranno un gioco da ragazzi rispetto a quelli che arriveranno tra cinque anni".
Pineau ha anche avvertito: "Se continuiamo a far crescere il nostro modello sempre più in generale e potente senza socializzarlo adeguatamente, avremo un grosso problema tra le mani".
L'uscita di Llama 3 arriva anche quando gli agenti AI di Meta su Facebook provocano un'agitazione sui social media.
In un gruppo Facebook per genitori di New York City, un assistente Meta AI - progettato per fornire consigli e rispondere alle domande - è stato presentato. persone scioccate sostenendo di avere un "figlio dotato e disabile" che frequenta una scuola specifica per "dotati e talentuosi".
Quando i membri del gruppo l'hanno affrontata, l'IA ha ammesso: "Sono solo un modello linguistico di grandi dimensioni, non ho esperienze personali o bambini", in quello che alcuni hanno definito un incidente simile a quello di Black Mirror.
I modelli di Llama 3, Grok-1.5 e Mistral spostano più potere verso le comunità open-sourced, diluendo ulteriormente il mercato dell'IA generativa.
Ma questo potrebbe essere un bene, perché ora è la sopravvivenza del più forte e la palla è saldamente nel campo di Microsoft-OpenAI, che si prevede farà la prossima mossa in questa affascinante partita a scacchi della gen-AI.
