Meta werkt samen met Qualcomm om ervoor te zorgen dat Llama 2-gebaseerde toepassingen tegen 2024 op Snapdragon-chips kunnen draaien.
De huidige rekenkracht van persoonlijke apparaten is niet voldoende om LLM's zoals Llama 2 effectief uit te voeren op mobiele telefoons of laptops. Als je deze krachtige AI-tools wilt gebruiken, moet je ze over het algemeen draaien op cloud computing servers.
Toen Meta de release van Llama 2 aankondigde, werkten ze samen met Microsoft om Azure te gebruiken als cloud computing-oplossing. Maar de volgende generatie Snapdragon-chips van Qualcomm zal naar verwachting voldoende verwerkingskracht naar persoonlijke apparaten brengen, zodat AI-toepassingen op basis van Llama 2 op een persoonlijk apparaat kunnen draaien zonder dat cloud computing nodig is.
Tijdens een interview met Stability CEO eerder dit jaar, was de interviewer ongelovig toen Emad Mostaque beweerde dat we in 2024 ChatGPT op onze telefoons zouden hebben draaien zonder internet. Maar nu blijkt dat zijn gewaagde bewering helemaal niet vergezocht was.
Over de samenwerking met MetaQualcomm executive Durga Malladi zei: "We juichen Meta's benadering van open en verantwoordelijke AI toe en zijn toegewijd aan het stimuleren van innovatie en het verlagen van drempels voor ontwikkelaars van elke omvang door generatieve AI op apparaten te brengen."
De huidige Snapdragon X75-chip maakt al gebruik van AI om de netwerkconnectiviteit en locatienauwkeurigheid in 5G-mobiele telefoons te verbeteren. Zodra ze Llama 2 aan de praat krijgen op het apparaat met de volgende generatie chip, kun je chatten met je AI-app, zelfs als deze in vliegtuigmodus staat of in een gebied zonder dekking is.
Het andere grote voordeel van deze ontwikkeling is dat de kosten van AI-toepassingen zullen dalen. API-oproepen doen naar een LLM die op een cloudserver draait, kost geld en die kosten worden onvermijdelijk doorberekend aan de gebruikers van de app.
Als de app kan communiceren met de LLM die op het apparaat draait, dan zijn de kosten nihil. En zelfs met de verbazingwekkende snelheid van 5G-netwerken zal een lokaal draaiende AI-app zoals een spraakassistent nog sneller reageren.
Door AI-apps op het apparaat te laten draaien zonder dat gegevens heen en weer naar cloudservers hoeven te worden gestuurd, zullen ook privacy- en beveiligingsproblemen verbeteren.
Het partnerschap van Qualcomm Meta in dit project is een grote stap en een teken dat er spannende ontwikkelingen aan zitten te komen. Ver terug in 2020 schepte Apple al op dat de M1-chip zijn Apple Neural Engine gebruikte om machine-learningtaken te versnellen.
Verwacht dat in de nabije toekomst veel meer chipfabrikanten zoals Nvidia zullen werken aan het on-device laten draaien van grote AI-modellen.
