Il Technology Innovation Institute (TII) degli Emirati Arabi Uniti ha rilasciato la scorsa settimana il Falcon 180B LLM su Hugging Face, che ha fornito prestazioni impressionanti nei primi test.
Il modello, che è ad accesso libero per i ricercatori e gli utenti commerciali, è il prodotto di una fiorente industria dell'intelligenza artificiale in Medio Oriente.
Il Falcon 180B è 2,5 volte più grande del Meta Lama 2 ed è stato addestrato con una quantità di calcolo 4 volte superiore. Il TII ha addestrato il modello su un'enorme quantità di 3,5 trilioni di token. È l'approccio unico al set di dati che è in gran parte responsabile delle impressionanti prestazioni del modello.
Per addestrare un modello non servono solo molti dati, ma in genere molti dati curati e di buona qualità. Produrre questi dati costa molto e non ci sono molti set di dati curati di grandi dimensioni disponibili pubblicamente. TII ha deciso di provare un approccio innovativo per evitare la necessità di curatela.
A giugno i ricercatori hanno utilizzato filtraggio e deduplicazione accurati dei dati CommonCrawl pubblicamente disponibili per creare il set di dati RefinedWeb. Questo set di dati non solo è stato più facile da produrre, ma offre prestazioni migliori rispetto al semplice utilizzo di corpora curati o di dati web.
Falcon 180B è stato addestrato su ben 3,5 trilioni di token del dataset RefinedWeb, un numero significativamente maggiore rispetto ai 2 trilioni di token del dataset di preaddestramento di Llama 2.
Prestazioni del Falcon 180B
Falcon 180B è in cima alla classifica di Hugging Face per i LLM ad accesso libero. Il modello supera Llama 2, il precedente leader, su una serie di benchmark, tra cui test di ragionamento, codifica, competenza e conoscenza.
Falcon 180B ottiene un punteggio elevato anche nel confronto con i modelli proprietari e closed source. Si colloca appena dietro GPT-4 ed è alla pari con PaLM 2 Large di Google, che è due volte più grande di Falcon 180B.
Fonte: Viso abbracciato
Il TII afferma che, nonostante le prestazioni già impressionanti del suo modello pre-addestrato, intende "fornire versioni di Falcon sempre più capaci in futuro, basate su set di dati migliori e su RLHF/RLAIF".
È possibile provare una versione di chat del modello con questo Demo del Falcon 180B su Faccia da abbracciare.
La versione della chat è stata messa a punto e igienizzata, ma il modello base non ha ancora le protezioni per l'allineamento. Il TII ha affermato che, non essendo ancora stato sottoposto a un processo di messa a punto o di allineamento, potrebbe produrre risposte "problematiche".
Ci vorrà un po' di tempo per allinearlo al punto da poterlo utilizzare con sicurezza a livello commerciale.
Tuttavia, le impressionanti prestazioni di questo modello evidenziano le opportunità di miglioramento che vanno oltre la semplice scalabilità delle risorse di calcolo.
Falcon 180B dimostra che modelli più piccoli addestrati su set di dati di buona qualità possono essere una direzione più economica ed efficiente per lo sviluppo dell'intelligenza artificiale.
L'uscita di questo impressionante modello sottolinea la crescita vertiginosa di Sviluppo dell'intelligenza artificiale in Medio Orientenonostante la recente restrizioni all'esportazione di GPU nella regione.
Mentre aziende come TII e Meta continuano a rilasciare i loro potenti modelli con licenze ad accesso aperto, sarà interessante vedere cosa faranno Google e OpenAI per spingere l'adozione dei loro modelli chiusi.
Il divario di prestazioni tra i modelli ad accesso aperto e quelli proprietari sembra decisamente ridursi.
