Компания Meta сотрудничает с Qualcomm, чтобы к 2024 году приложения на базе Llama 2 могли работать на ее чипах Snapdragon.
Современный уровень вычислительной мощности персональных устройств недостаточен для эффективного запуска таких LLM, как Llama 2, на мобильных телефонах или ноутбуках. Если вы хотите использовать эти мощные инструменты искусственного интеллекта, вам, как правило, необходимо запускать их на серверах облачных вычислений.
Когда компания Meta объявила о выпуске Llama 2, она заключила партнерство с Microsoft, чтобы использовать Azure в качестве предпочтительного решения для облачных вычислений. Однако ожидается, что следующее поколение чипов Snapdragon от Qualcomm обеспечит достаточную вычислительную мощность персональных устройств, чтобы приложения ИИ на базе Llama 2 могли работать на персональном устройстве без необходимости использования облачных вычислений.
Во время Интервью с генеральным директором компании Stability В начале этого года Эмад Мостаке заявил, что к 2024 году ChatGPT будет работать на наших телефонах без интернета. Но теперь кажется, что его смелое заявление вовсе не было надуманным.
Что касается партнерства с компанией MetaДурга Маллади (Durga Malladi), руководитель Qualcomm, сказала: "Мы приветствуем подход Meta к открытому и ответственному ИИ и стремимся стимулировать инновации и снизить барьеры на пути разработчиков любого размера, внедряя генеративный ИИ в устройства".
Текущий чип Snapdragon X75 уже использует ИИ для улучшения сетевого соединения и точности определения местоположения в мобильных телефонах 5G. Как только Llama 2 заработает на устройстве с чипом нового поколения, вы сможете общаться со своим приложением с искусственным интеллектом, даже если оно находится в авиарежиме или в зоне без покрытия.
Еще одно большое преимущество этой разработки - снижение стоимости приложений для искусственного интеллекта. Вызовы API к LLM, работающему на облачном сервере, стоят денег, и эти затраты неизбежно перекладываются на пользователей приложения.
Если приложение может взаимодействовать с LLM, работающим на устройстве, то затраты будут нулевыми. И даже с учетом потрясающей скорости сетей 5G локальное приложение с искусственным интеллектом, например голосовой помощник, будет отвечать еще быстрее.
Запуск приложений искусственного интеллекта на устройстве без необходимости пересылать данные на облачные серверы также повысит уровень конфиденциальности и безопасности.
Партнерство Qualcomm Meta в этом проекте - большое дело и признак грядущих интересных событий. Еще в 2020 году Apple хвасталась, что в чипе M1 используется нейронный движок Apple Neural Engine для ускорения задач машинного обучения.
Ожидайте, что в ближайшем будущем производители чипов, такие как Nvidia, будут работать над созданием крупных моделей искусственного интеллекта для работы на устройствах.
