Meta samarbeider med Qualcomm for å gjøre det mulig for Llama 2-baserte applikasjoner å kjøre på Snapdragon-brikkene deres innen 2024.
Dagens nivå av datakraft på personlige enheter er ikke tilstrekkelig til å kjøre LLM-er som Llama 2 effektivt på mobiltelefoner eller bærbare datamaskiner. Hvis du vil bruke disse kraftige AI-verktøyene, må du som regel kjøre dem på servere i nettskyen.
Da Meta kunngjorde lanseringen av Llama 2, inngikk de et samarbeid med Microsoft om å bruke Azure som foretrukket cloud computing-løsning. Men neste generasjon av Qualcomms Snapdragon-brikker forventes å gi tilstrekkelig prosessorkraft til personlige enheter, slik at Llama 2-baserte AI-applikasjoner kan kjøres på en personlig enhet uten behov for cloud computing.
I løpet av en intervju med administrerende direktør i Stability tidligere i år, var intervjueren vantro da Emad Mostaque hevdet at vi innen 2024 ville ha ChatGPT på telefonene våre uten internett. Men nå ser det ut til at den dristige påstanden hans ikke var helt usannsynlig.
Når det gjelder partnerskapet med Meta"Vi applauderer Metas tilnærming til åpen og ansvarlig AI og er forpliktet til å drive innovasjon og redusere inngangsbarrierer for utviklere av alle størrelser ved å bringe generativ AI på enheten", sa Qualcomm-sjef Durga Malladi.
Den nåværende Snapdragon X75-brikken bruker allerede AI for å forbedre nettverkstilkoblingen og posisjonsnøyaktigheten i 5G-mobiltelefoner. Når de får Llama 2 til å fungere på enheten med neste generasjons chip, vil du kunne chatte med AI-appen din selv når den er i flymodus eller i et område uten dekning.
Den andre store fordelen med denne utviklingen er at den vil redusere kostnadene for AI-applikasjoner. Det koster penger å måtte foreta API-kall til en LLM som kjører på en skyserver, og disse kostnadene blir uunngåelig veltet over på brukerne av appen.
Hvis appen kan samhandle med LLM-en som kjører på enheten, påløper det ingen kostnader. Og selv med den utrolige hastigheten til 5G-nettverk vil en lokalt kjørt AI-app, som en stemmeassistent, svare enda raskere.
Å kjøre AI-apper på enheten uten å måtte sende data frem og tilbake til skyservere vil også forbedre personvernet og sikkerheten.
Qualcomm Meta-partnerskapet i dette prosjektet er en stor avtale og et tegn på spennende utvikling som kommer. Allerede i 2020 skrøt Apple av at M1-brikken brukte Apple Neural Engine for å øke hastigheten på maskinlæringsoppgaver.
Vi kan forvente å se mange flere chipprodusenter som Nvidia jobbe med å få store AI-modeller til å kjøre på enheten i nær fremtid.
