Meta arbeitet mit Qualcomm zusammen, um Llama 2-basierte Anwendungen bis 2024 auf deren Snapdragon-Chips laufen zu lassen.
Die derzeitige Rechenleistung von Privatgeräten reicht nicht aus, um LLMs wie Llama 2 effektiv auf Mobiltelefonen oder Laptops auszuführen. Wenn Sie diese leistungsstarken KI-Tools nutzen möchten, müssen Sie sie in der Regel auf Cloud-Computing-Servern ausführen.
Als Meta die Veröffentlichung von Llama 2 ankündigte, ging es eine Partnerschaft mit Microsoft ein, um Azure als bevorzugte Cloud-Computing-Lösung zu nutzen. Es wird jedoch davon ausgegangen, dass die nächste Generation der Snapdragon-Chips von Qualcomm genügend Rechenleistung für persönliche Geräte bereitstellen wird, so dass auf Llama 2 basierende KI-Anwendungen auf einem persönlichen Gerät ausgeführt werden können, ohne dass Cloud-Computing erforderlich ist.
Während einer Interview mit Stability CEO Anfang dieses Jahres war der Interviewer ungläubig, als Emad Mostaque behauptete, dass wir im Jahr 2024 ChatGPT ohne Internet auf unseren Telefonen laufen lassen würden. Aber jetzt scheint es, dass seine kühne Behauptung gar nicht so weit hergeholt war.
Hinsichtlich der Partnerschaft mit MetaDurga Malladi, Geschäftsführerin von Qualcomm, sagte: "Wir begrüßen Metas Ansatz für offene und verantwortungsvolle KI und setzen uns dafür ein, Innovationen voranzutreiben und die Eintrittsbarrieren für Entwickler jeder Größe zu senken, indem wir generative KI auf Geräte bringen."
Der aktuelle Snapdragon X75-Chip nutzt bereits KI, um die Netzwerkkonnektivität und Standortgenauigkeit in 5G-Mobiltelefonen zu verbessern. Sobald Llama 2 auf dem Gerät mit dem Chip der nächsten Generation funktioniert, können Sie mit Ihrer KI-App chatten, auch wenn sich das Gerät im Flugzeugmodus oder in einem Gebiet ohne Netzabdeckung befindet.
Der andere große Vorteil dieser Entwicklung ist, dass sie die Kosten für KI-Anwendungen senken wird. API-Aufrufe an ein LLM, das auf einem Cloud-Server läuft, kosten Geld, und diese Kosten werden unweigerlich an die Nutzer der Anwendung weitergegeben.
Wenn die App mit dem LLM, das auf dem Gerät läuft, interagieren kann, fallen keine Kosten an. Und selbst mit der erstaunlichen Geschwindigkeit von 5G-Netzen wird eine lokal ausgeführte KI-App wie ein Sprachassistent noch schneller reagieren.
Die Ausführung von KI-Apps auf dem Gerät, ohne dass Daten zu Cloud-Servern hin- und hergeschickt werden müssen, wird auch den Datenschutz und die Sicherheit verbessern.
Die Partnerschaft mit Qualcomm Meta bei diesem Projekt ist eine große Sache und ein Zeichen für kommende spannende Entwicklungen. Bereits im Jahr 2020 hat Apple damit geprahlt, dass der M1-Chip seine Apple Neural Engine nutzt, um maschinelle Lernaufgaben zu beschleunigen.
Es ist zu erwarten, dass in naher Zukunft mehr Chip-Hersteller wie Nvidia daran arbeiten werden, große KI-Modelle auf Geräten laufen zu lassen.
