Meta samarbetar med Qualcomm för att göra det möjligt för Llama 2-baserade applikationer att köras på sina Snapdragon-chips senast 2024.
Den nuvarande nivån på datorkraften i personliga enheter är inte tillräcklig för att köra LLM:er som Llama 2 effektivt på mobiltelefoner eller bärbara datorer. Om du vill använda dessa kraftfulla AI-verktyg måste du i allmänhet köra dem på molnservrar.
När Meta tillkännagav lanseringen av Llama 2 samarbetade de med Microsoft för att använda Azure som sin föredragna molnberäkningslösning. Men nästa generation av Qualcomms Snapdragon-chips förväntas ge tillräcklig processorkraft till personliga enheter så att Llama 2-baserade AI-applikationer kan köras på en personlig enhet utan behov av molnberäkning.
Under en intervju med Stability VD tidigare i år blev intervjuaren häpen när Emad Mostaque hävdade att vi 2024 skulle kunna köra ChatGPT på våra telefoner utan internet. Men nu verkar det som att hans djärva påstående inte alls var långsökt.
När det gäller partnerskapet med Meta"Vi applåderar Metas inställning till öppen och ansvarsfull AI och är fast beslutna att driva innovation och minska hinder för inträde för utvecklare av alla storlekar genom att föra generativ AI till enheten", säger Durga Malladi, chef för Qualcomm.
Det nuvarande Snapdragon X75-chipet använder redan AI för att förbättra nätverksanslutningen och platsnoggrannheten i 5G-mobiltelefoner. När de väl får Llama 2 att fungera på enheten med nästa generations chip kommer du att kunna chatta med din AI-app även när den är i flygplansläge eller i ett område utan täckning.
Den andra stora fördelen med den här utvecklingen är att den kommer att sänka kostnaden för AI-applikationer. Att behöva göra API-anrop till en LLM som körs på en molnserver kostar pengar och dessa kostnader förs oundvikligen vidare till användarna av appen.
Om appen kan interagera med den LLM som körs på enheten uppstår inga kostnader. Och även med den fantastiska hastigheten hos 5G-nätverk kommer en lokalt driven AI-app som en röstassistent att svara ännu snabbare.
Att köra AI-appar på en enhet utan att behöva skicka data fram och tillbaka till molnservrar kommer också att förbättra integritets- och säkerhetsfrågorna.
Qualcomm Meta-partnerskapet i detta projekt är en stor sak och ett tecken på spännande utveckling som kommer att komma. Redan 2020 skryter Apple med att M1-chipet använde sin Apple Neural Engine för att påskynda maskininlärningsuppgifter.
Räkna med att många fler chiptillverkare som Nvidia kommer att arbeta med att få stora AI-modeller att köras på enheter inom en snar framtid.
