Согласно отчету The Information, Microsoft работает над LLM с параметрами 500B под названием MAI-1, который сможет противостоять GPT-4 и Google. Gemini модели.
Недавно мы сообщали о том, что компания Microsoft Фи-3 Мини семейство небольших языковых моделей с количеством параметров от 3,8 до 14 ББ. MAI-1 с 500 ББ параметров станет самой большой моделью, развернутой Microsoft.
По своим размерам он находится в одном ряду с GPT-4 и более крупным проектом Google. Gemini модели. По слухам, GPT-4 имеет 1,76 Т параметров, но это модель Mixture of Experts (MoE), поэтому при выводе данных задействуется только около 280 Б параметров.
Об архитектуре MAI-1 нет никакой информации, но если это плотная модель, в отличие от MoE, то она будет довольно мощной. Ожидается, что модель Llama 3 от Meta будет иметь 400B параметров.
Разработкой MAI-1 руководит Мустафа Сулейман, соучредитель и бывший руководитель отдела прикладного искусственного интеллекта в компании DeepMind.
Мустафа ушел DeepMind чтобы стать соучредителем ИИ-стартапа Inflection в 2022 году. В марте этого года Microsoft наняла большую часть сотрудников Inflection и заплатила $650 миллионов за права на интеллектуальную собственность компании.
MAI-1, судя по всему, является совершенно новым проектом Microsoft, а не продолжением существующего проекта Inflection. О дате выхода пока ничего не известно, но мы можем увидеть предварительную версию MAI-1 16 мая на конференции разработчиков Microsoft Build.
Microsoft OpenAIкрупнейший инвестор, поэтому тот факт, что она разрабатывает свои собственные программы LLM, чтобы конкурировать с программами OpenAI некоторых немного удивляет. Может быть, Microsoft хеджирует свои ставки, придерживается нескольких стратегий развития или чего-то другого?
Технический директор Microsoft Кевин Скотт попытался преуменьшить значение этого вопроса. В своем сообщении на LinkedIn Скотт сказал: "Я не уверен, почему это новость, но просто подытожу очевидное: мы создаем большие суперкомпьютеры для обучения моделей ИИ; наш партнер Open AI использует эти суперкомпьютеры для обучения моделей, определяющих границы; а затем мы оба делаем эти модели доступными в продуктах и сервисах, чтобы многие люди могли ими воспользоваться. Нам очень нравится такая схема".
Возможно, Скотт искренен в этом заявлении, но когда MAI-1 будет выпущен, он может поставить Microsoft в жесткую конкуренцию с компанией, в которую она вложила миллиарды долларов.
Будет ли MAI-1 выпущен как раз в то время, когда OpenAI чтобы превзойти его, высвободив GPT-5? OpenAI На этот четверг было запланировано мероприятие, на котором компания должна была рассказать об обновлениях и демонстрации продуктов, но с тех пор мероприятие было отложено.
С Загадочные чатботы GPT-2 Появляясь, исчезая и снова появляясь, Microsoft строит огромные модели и OpenAI Не давая нам угадать, драма ИИ не прекращается.
