По сообщениям, Microsoft создает 500-байтную LLM под названием MAI-1

Май 7, 2024
  • По сообщениям, Microsoft строит модель с параметрами 500B под названием MAI-1
  • Проект возглавляет бывший генеральный директор Google AI и бывший генеральный директор Inflection Мустафа Сулейман.
  • MAI-1 будет намного больше, чем другие модели Microsoft, включая новое семейство Phi-3 Mini.

Согласно отчету The Information, Microsoft работает над LLM с параметрами 500B под названием MAI-1, который сможет противостоять GPT-4 и Google. Gemini модели.

Недавно мы сообщали о том, что компания Microsoft Фи-3 Мини семейство небольших языковых моделей с количеством параметров от 3,8 до 14 ББ. MAI-1 с 500 ББ параметров станет самой большой моделью, развернутой Microsoft.

По своим размерам он находится в одном ряду с GPT-4 и более крупным проектом Google. Gemini модели. По слухам, GPT-4 имеет 1,76 Т параметров, но это модель Mixture of Experts (MoE), поэтому при выводе данных задействуется только около 280 Б параметров.

Об архитектуре MAI-1 нет никакой информации, но если это плотная модель, в отличие от MoE, то она будет довольно мощной. Ожидается, что модель Llama 3 от Meta будет иметь 400B параметров.

Разработкой MAI-1 руководит Мустафа Сулейман, соучредитель и бывший руководитель отдела прикладного искусственного интеллекта в компании DeepMind.

Мустафа ушел DeepMind чтобы стать соучредителем ИИ-стартапа Inflection в 2022 году. В марте этого года Microsoft наняла большую часть сотрудников Inflection и заплатила $650 миллионов за права на интеллектуальную собственность компании.

MAI-1, судя по всему, является совершенно новым проектом Microsoft, а не продолжением существующего проекта Inflection. О дате выхода пока ничего не известно, но мы можем увидеть предварительную версию MAI-1 16 мая на конференции разработчиков Microsoft Build.

Microsoft OpenAIкрупнейший инвестор, поэтому тот факт, что она разрабатывает свои собственные программы LLM, чтобы конкурировать с программами OpenAI некоторых немного удивляет. Может быть, Microsoft хеджирует свои ставки, придерживается нескольких стратегий развития или чего-то другого?

Технический директор Microsoft Кевин Скотт попытался преуменьшить значение этого вопроса. В своем сообщении на LinkedIn Скотт сказал: "Я не уверен, почему это новость, но просто подытожу очевидное: мы создаем большие суперкомпьютеры для обучения моделей ИИ; наш партнер Open AI использует эти суперкомпьютеры для обучения моделей, определяющих границы; а затем мы оба делаем эти модели доступными в продуктах и сервисах, чтобы многие люди могли ими воспользоваться. Нам очень нравится такая схема".

Возможно, Скотт искренен в этом заявлении, но когда MAI-1 будет выпущен, он может поставить Microsoft в жесткую конкуренцию с компанией, в которую она вложила миллиарды долларов.

Будет ли MAI-1 выпущен как раз в то время, когда OpenAI чтобы превзойти его, высвободив GPT-5? OpenAI На этот четверг было запланировано мероприятие, на котором компания должна была рассказать об обновлениях и демонстрации продуктов, но с тех пор мероприятие было отложено.

С Загадочные чатботы GPT-2 Появляясь, исчезая и снова появляясь, Microsoft строит огромные модели и OpenAI Не давая нам угадать, драма ИИ не прекращается.

Присоединяйтесь к будущему


ПОДПИСАТЬСЯ СЕГОДНЯ

Четко, лаконично, всесторонне. Получите представление о развитии искусственного интеллекта с помощью DailyAI

Юджин ван дер Ватт

Юджин - выходец из электронной инженерии и обожает все, что связано с техникой. Когда он отдыхает от чтения новостей об искусственном интеллекте, вы можете найти его за столом для игры в снукер.

×
 
 

ЭКСКЛЮЗИВНЫЙ БЕСПЛАТНЫЙ PDF
Будьте впереди с DailyAI


 

Подпишитесь на нашу еженедельную рассылку и получите эксклюзивный доступ к последней электронной книге DailyAI: "Освоение инструментов искусственного интеллекта: Ваше руководство по повышению производительности в 2024 году".



 
 

* Подписываясь на нашу рассылку, вы принимаете наши Политика конфиденциальности и наш Условия и положения