Компания Илона Маска xAI открыла исходный код своей модели LLM Grok-1.
Компания Элона Маска xAI опубликовала код модели ИИ Grok-1 и весовые коэффициенты, насмехаясь над OpenAI.
Этот релиз через GitHub и BitTorrent позволяет исследователям и разработчикам по всему миру создавать и итерации с его 314 миллиардами параметров - примерно на 150 миллиардов больше, чем у GPT-3.
xAI стремится демократизировать доступ к передовым технологиям LLM, предоставляя сырую, неочищенную версию Grok-1, готовую для экспериментов в любом качестве - даже в коммерческом.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17 марта 2024 года
Маск, конечно же, не смог удержаться от (не)дружеского подшучивания над открытостью Grok. Аккаунт ChatGPT X прокомментировал пост Grok выше: "Украл всю мою шутку", на что Маск ответил: "Расскажите нам больше об "открытой" части OpenAI...".
Расскажите нам подробнее об "открытой" части OpenAI...
- Элон Маск (@elonmusk) 17 марта 2024 года
Маск и основатели OpenAI Сэм Альтман и Грег Брокман втянутые в судебную тяжбу и дебаты по поводу резкого превращения OpenAI из некоммерческой исследовательской компании с открытым исходным кодом в прибыльное подразделение Microsoft.
Grok - это еще одна бельмо на глазу OpenAI, которая испытывает давление с разных сторон после недавнего выхода впечатляющего Claude 3 Opus от Anthropic и Gemini от Google. Даже Apple вступила в борьбу с LLM со своим недавно выпущенный MM1.
Однако Grok-1 не сразу готов и доступен для приложений разговорного ИИ.
Например, модель не была настроена с помощью специальных инструкций или наборов данных для оптимальной работы в диалоговых системах. Это означает, что потребуются дополнительные усилия и ресурсы, чтобы использовать возможности Grok-1 для решения подобных задач, что создает проблему для тех, кто заинтересован в разработке разговорного ИИ.
Кроме того, огромный размер веса модели - 296 ГБ - означает, что для ее работы требуются значительные вычислительные ресурсы, включая высокопроизводительное оборудование класса дата-центра.
Тем не менее, сообщество ИИ ожидает потенциальных усилий по оптимизации Grok-1 путем квантования, что может уменьшить размер модели и вычислительные требования, сделав ее более доступной для тех, у кого есть генеративные установки для ИИ.
Grok-1 - это действительно открытый исходный код
Одним из наиболее важных аспектов выпуска Grok-1 является выбор xAI в пользу лицензии Apache 2.0, присоединившись к таким компаниям, как Mistral 7B.
В отличие от некоторых лицензий, накладывающих более жесткие условия на использование и распространение программного обеспечения, лицензия Apache 2.0 предоставляет широкую свободу в использовании, изменении и распространении программного обеспечения.
Каждая жизнеспособная модель с открытым исходным кодом грозит подорвать доходы разработчиков с закрытым исходным кодом, таких как OpenAI и Anthropic.
Весы Grok выпущены под лицензией Apache 2.0: https://t.co/9K4IfarqXK
Это более открытый исходный код, чем у других моделей с открытым весом, которые обычно имеют ограничения на использование.
Он менее открыт, чем Pythia, Bloom и OLMo, которые поставляются с обучающим кодом и воспроизводимыми наборами данных. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
- Себастьян Рашка (@rasbt) 17 марта 2024 года
В том числе и в коммерческих целях, что делает Grok-1 привлекательной основой для компаний и частных лиц, стремящихся создать или интегрировать эту модель в свои собственные продукты и услуги.
В общем и целом, предоставляя весовые коэффициенты и архитектуру Grok-1 в свободный доступ, xAI продвигает видение Маска об открытом ИИ и противостоит сообществу ИИ в целом.
OpenAI, вероятно, потрясен недавними разработками Anthropic, Google, а теперь и xAI.
Tсообщество готовится к какому-нибудь релизу GPT-5 или Sora, который позволит им вновь взять верх.
