Meta sta collaborando con Qualcomm per consentire alle applicazioni basate su Llama 2 di funzionare sui suoi chip Snapdragon entro il 2024.
L'attuale livello di potenza di calcolo dei dispositivi personali non è sufficiente per eseguire efficacemente LLM come Llama 2 su telefoni cellulari o laptop. Se si desidera utilizzare questi potenti strumenti di intelligenza artificiale, è generalmente necessario eseguirli su server di cloud computing.
Quando Meta ha annunciato il rilascio di Llama 2, ha stretto una partnership con Microsoft per utilizzare Azure come soluzione di cloud computing preferita. Ma si prevede che la prossima generazione di chip Snapdragon di Qualcomm porterà una potenza di elaborazione sufficiente ai dispositivi personali, in modo che le applicazioni di intelligenza artificiale basate su Llama 2 possano essere eseguite su un dispositivo personale senza bisogno di cloud computing.
Durante un intervista al CEO di Stability all'inizio di quest'anno, l'intervistatore è rimasto incredulo quando Emad Mostaque ha affermato che entro il 2024 avremmo avuto ChatGPT in esecuzione sui nostri telefoni senza internet. Ma ora sembra che la sua audace affermazione non fosse affatto inverosimile.
Per quanto riguarda la partnership con MetaDurga Malladi, dirigente di Qualcomm, ha dichiarato: "Apprezziamo l'approccio di Meta all'IA aperta e responsabile e ci impegniamo a promuovere l'innovazione e a ridurre le barriere all'ingresso per gli sviluppatori di qualsiasi dimensione portando l'IA generativa sui dispositivi."
L'attuale chip Snapdragon X75 utilizza già l'intelligenza artificiale per migliorare la connettività di rete e la precisione della localizzazione nei telefoni cellulari 5G. Una volta che Llama 2 funzionerà sul dispositivo con il chip di nuova generazione, sarete in grado di chattare con la vostra app AI anche quando è in modalità aereo o in un'area priva di copertura.
L'altro grande vantaggio di questo sviluppo è che farà scendere il costo delle applicazioni di intelligenza artificiale. La necessità di effettuare chiamate API a un LLM in esecuzione su un server cloud costa e questi costi vengono inevitabilmente trasferiti agli utenti dell'applicazione.
Se l'app può interagire con l'LLM in esecuzione sul dispositivo, non ci sono costi da sostenere. E anche con l'incredibile velocità delle reti 5G, un'applicazione AI gestita localmente, come un assistente vocale, risponderà ancora più velocemente.
L'esecuzione di applicazioni di intelligenza artificiale sul dispositivo, senza la necessità di inviare i dati ai server cloud, migliorerà anche la privacy e la sicurezza.
La partnership di Qualcomm Meta in questo progetto è un grande affare e un segno di sviluppi entusiasmanti in arrivo. Già nel 2020, Apple si vantava del fatto che il chip M1 utilizzasse il suo Apple Neural Engine per accelerare le attività di apprendimento automatico.
Ci aspettiamo di vedere molti altri produttori di chip, come Nvidia, impegnati a far funzionare grandi modelli di intelligenza artificiale sui dispositivi nel prossimo futuro.
