Компания MosaicML представила свои новые модели ИИ с открытым исходным кодом - MPT-30B Base, Instruct и Chat.
Являясь частью серии MPT (MosaicML Pre Trained Transformer), эти модели с открытым исходным кодом считаются самыми совершенными в своей категории, превосходя GPT-3 по большинству ключевых показателей.
Мозаика подготовили свои новые модели на базе новейших чипов NVIDIA H100, выпущенных в начале этого года.
MPT-30B - это первый публично известный LLM, обученный на высокопроизводительных графических процессорах NVIDIA H100.
С момента своего появления 5 мая 2023 года предыдущие модели MPT-7B (Base, Instruct, Chat, StoryWriter) Mosaic были загружены более 3,3 миллиона раз. MPT-30B имеет 30 миллиардов параметров - гораздо меньше, чем 175 миллиардов параметров GPT-3 или предполагаемый 1 триллион параметров GPT-4.
Но количество параметров - это еще не все. MPT-30B обучался на более длинных последовательностях, включающих до 8 000 лексем, что в 4 раза больше, чем у GPT-3, семейства моделей LLaMA и модели Falcon.
Это позволяет MPT-30B лучше управлять корпоративными рабочими процессами с большим объемом данных и превосходить другие модели для рабочих процессов с большим объемом кода.
Несколько компаний, таких как Replit, ведущая веб-инструментальная среда разработки, и Scatter Lab, стартап в области искусственного интеллекта, уже воспользовались моделями MPT с открытым исходным кодом, которые являются более настраиваемыми, чем проприетарные модели, такие как GPT-3.
Илан Твиг, соучредитель и технический директор компании Navan, сказал. "В Navan мы используем генеративный ИИ во всех наших продуктах и услугах, обеспечивая работу таких сервисов, как виртуальный туристический агент и разговорный агент бизнес-аналитики. Фундаментальные модели MosaicML предлагают самые современные языковые возможности, но при этом чрезвычайно эффективны для тонкой настройки и масштабного обслуживания выводов".
MPT-30B, теперь доступен через HuggingFace HubОн полностью открыт, и разработчики могут дорабатывать его с учетом своих данных.
Mosaic стремится дать предприятиям возможность интегрировать мощные модели с открытым исходным кодом в свой рабочий процесс, сохраняя при этом суверенитет данных.
Преимущество открытого исходного кода
Модели с открытым исходным кодом быстрое преодоление разрыва с такими конкурентами, как OpenAI.
Поскольку вычислительные ресурсы, необходимые для обучения и развертывания моделей, снижаются, разработчикам с открытым исходным кодом больше не нужны многомиллионные суперкомпьютеры с сотнями высокопроизводительных процессоров для обучения своих моделей.
То же самое касается и развертывания моделей - MPT-30B может работать на одном GPU, а сообщество разработчиков с открытым исходным кодом даже смогло запустить уменьшенную версию модели LLaMa на Raspberry PI.
Я успешно запустил модель LLaMA 7B на моем Raspberry Pi 4 с 4 ГБ оперативной памяти. Это очень медленно, около 10 секунд на токен. Но, похоже, мы можем запускать мощные когнитивные конвейеры на дешевом оборудовании. pic.twitter.com/XDbvM2U5GY
- Артем Андреенко 🇺🇦 (@miolini) 12 марта 2023 года
Кроме того, модели с открытым исходным кодом дают стратегические преимущества бизнес-пользователям.
Например, предприятия таких отраслей, как здравоохранение и банковское дело, могут предпочесть не делиться своими данными с OpenAI или Google.
Навин Рао, соучредитель и генеральный директор MosaicML, считает проекты с открытым исходным кодом своими союзниками, заявляя, что они "закрывают брешь в этих моделях с закрытым исходным кодом". Хотя он признает превосходство GPT-4 от OpenAI, он утверждает, что модели с открытым исходным кодом "перешагнули порог, за которым эти модели действительно становятся чрезвычайно полезными".
ИИ с открытым исходным кодом развивается стремительно, что заставляет некоторых обвинять крупные технологические компании в том, что они пытаются сдержать его рост. Предприятия уже создают свои собственные стеки ИИ с открытым исходным кодом, экономя деньги, которые в противном случае могли бы пойти на финансирование таких компаний, как OpenAI.
A Утечка служебной записки от сотрудника Google говорит, что все крупные технологические разработчики ИИ - Google, Microsoft, Anthropic и OpenAI - конкурируют с разработчиками с открытым исходным кодом.
Разработчики ИИ с открытым исходным кодом могут создавать и итерировать модели быстрее, чем крупные технологи, что позволяет им опережать основные модели ИИ.
Это не лишено опасностей, поскольку модели с открытым исходным кодом сложно контролировать и регулировать, когда они переходят в руки общественности.
