Стартап Элона Маска xAI показал свое последнее творение: суперкомпьютер под названием Colossus.
В настоящее время эта массивная система обучения ИИ насчитывает 100 000 процессоров Nvidia Hopper H100.
Расположенный в Мемфисе, штат Теннесси, Colossus будет расширен за счет 50 000 новых, более совершенных чипов Nvidia серии H200, примерно в два раза более мощных, чем H100.
Это почти наверняка сделает Colossus самым мощным компьютером на планете, если он еще не является таковым.
Для сравнения: Meta объявила о планах накопить 350 000 графических процессоров H100 к концу 2024 года, а OpenAI, как считается, использует всего 25 000 GPU для GPT-4, хотя их может быть гораздо больше.
Маск сам объявил о запуске Colossus на канале X в выходные в День труда, заявив: "От начала до конца все было сделано за 122 дня". Colossus - самая мощная система обучения ИИ в мире. Более того, через несколько месяцев ее размер удвоится до 200 тысяч (50 тысяч H200)".
В эти выходные @xAI Команда вывела в сеть наш учебный кластер Colossus 100k H100. От начала до конца все было сделано за 122 дня.
Colossus - самая мощная система обучения ИИ в мире. Более того, через несколько месяцев ее размер удвоится до 200 тысяч (50 тысяч H200).
Превосходно...
- Элон Маск (@elonmusk) 2 сентября 2024 года
Обеспечение будущего Grok
Непосредственной целью Colossus является обучение большой языковой модели (LLM) xAI, известной как Grok.
В настоящее время Grok доступен только для платных подписчиков социальной медиаплатформы X Маска. Компания уже выпустила раннюю бета-версию Grok-2, которая была обучена примерно на 15 000 процессорах Nvidia H100.
Несмотря на относительно небольшой набор обучающих данных, Grok-2 уже считается одной из самых способных больших языковых моделей ИИ, согласно рейтингам лидеров среди чатботов.
Он также имеет открытый исходный код, что противоречит тенденции выпуска закрытых моделей конкурентами OpenAI, Anthropic и Google.
Амбиции Маска в отношении Grok экстравагантны. Он уже заглядывает в будущее - на "Грок-3", который планируется выпустить в декабре 2024 года.
В июльском интервью Джордану Петерсону Маск смело заявил: "На тот момент Grok-3 должен быть самым мощным ИИ в мире".
Масштабное увеличение количества графических процессоров для обучения Grok-3 позволяет предположить, что Маск серьезно относится к этому заявлению.
А как насчет других целей xAI?
Основана в июле 2023 года, В конечном итоге xAI хочет выяснить. "Что, черт возьми, происходит на самом деле?" На сайте Слова МаскаЭто означает исследование фундаментальных вопросов о реальности, темной материи и Парадокс Фермии другие космические тайны.
Команда основателей xAI была выбрана для реализации этого видения. Игорь Бабушкин, ранее работавший над Большим адронным коллайдером в ЦЕРНе, заявил, что компания хочет "действительно внести вклад в наше понимание Вселенной".
Джимми Ба, исследователь ИИ из Университета Торонто, объяснил, что его цель - создать "машину общего назначения для решения проблем", которая будет решать самые сложные задачи человечества.
Чтобы подпитывать свои исследования и разработки, xAI обеспечено $6 млрд. В мае 2024 года компания провела раунд финансирования серии B, поддержанный такими венчурными компаниями, как Andreessen Horowitz и Sequoia Capital, а также инвесторами с большими капиталами, такими как Fidelity и Kingdom Holding саудовского принца Альваледа бин Талала.
Многие эксперты Tesla считают, что Grok в конечном итоге может стать основой для искусственного интеллекта гуманоидного робота Tesla Optimus. Маск утверждает, что Optimus сможет приносить Tesla $1 триллион прибыли в год. Маск также намекнул, что может предложить инвестировать $5 миллиардов от Tesla в xAI, что некоторые акционеры приветствовали.
С появлением Colossus в сети, может быть, xAI собирается перейти от создания новых LLM к чему-то смелому и новому?
Конечно, Грок-3, вероятно, будет очень мощным. Но, скорее всего, он будет лишь немного мощнее своих аналогов, и только на короткое время, пока что-то не превзойдет его.
Приходится сомневаться в фундаментальных долгосрочных целях. Компании, занимающиеся разработкой искусственного интеллекта, мрачно конкурируют с аналогичными моделями, обученными на практически идентичных аппаратных стеках. Это дорого, и инновации рискуют заглохнуть на фоне небольших, постепенных достижений.
Таким образом, у одного из главных игроков остается возможность выйти за рамки эры LLM. Станет ли компания xAI первой, кто сделает шаг вперед, как намекал Маск при ее создании?
