Meta samarbejder med Qualcomm om at gøre det muligt for Llama 2-baserede applikationer at køre på deres Snapdragon-chips inden 2024.
Det nuværende niveau af computerkraft på personlige enheder er ikke tilstrækkeligt til at køre LLM'er som Llama 2 effektivt på mobiltelefoner eller bærbare computere. Hvis du vil bruge disse kraftfulde AI-værktøjer, skal du som regel køre dem på cloud computing-servere.
Da Meta annoncerede udgivelsen af Llama 2, indgik de et samarbejde med Microsoft om at bruge Azure som den foretrukne cloud computing-løsning. Men den næste generation af Qualcomms Snapdragon-chips forventes at bringe tilstrækkelig processorkraft til personlige enheder, så Llama 2-baserede AI-applikationer kan køre på en personlig enhed uden behov for cloud computing.
I løbet af en Interview med Stability CEO Tidligere i år var intervieweren vantro, da Emad Mostaque hævdede, at vi i 2024 ville have ChatGPT kørende på vores telefoner uden internet. Men nu ser det ud til, at hans dristige påstand slet ikke var så langt ude.
Med hensyn til partnerskabet med MetaQualcomm-direktør Durga Malladi sagde: "Vi bifalder Metas tilgang til åben og ansvarlig AI og er forpligtet til at fremme innovation og reducere adgangsbarrierer for udviklere af enhver størrelse ved at bringe generativ AI på enheden."
Den nuværende Snapdragon X75-chip bruger allerede AI til at forbedre netværksforbindelsen og placeringsnøjagtigheden i 5G-mobiltelefoner. Når de får Llama 2 til at fungere på enheden med den næste generations chip, vil du kunne chatte med din AI-app, selv når den er i flytilstand eller i et område uden dækning.
Den anden store fordel ved denne udvikling er, at den vil sænke omkostningerne ved AI-applikationer. Det koster penge at skulle foretage API-opkald til en LLM, der kører på en cloud-server, og de omkostninger bliver uundgåeligt sendt videre til brugerne af appen.
Hvis appen kan interagere med den LLM, der kører på enheden, er der ingen omkostninger. Og selv med den fantastiske hastighed på 5G-netværk vil en lokalt kørende AI-app som en stemmeassistent reagere endnu hurtigere.
At køre AI-apps på enheden uden behov for at sende data frem og tilbage til cloud-servere vil også forbedre privatlivs- og sikkerhedshensyn.
Qualcomm Meta-partnerskabet i dette projekt er en stor ting og et tegn på den spændende udvikling, der er på vej. Helt tilbage i 2020 pralede Apple allerede med, at M1-chippen brugte sin Apple Neural Engine til at fremskynde maskinlæringsopgaver.
Forvent at se mange flere chipproducenter som Nvidia arbejde på at få store AI-modeller til at køre på enheden i den nærmeste fremtid.
