Мировые технологические компании жаждут высококлассных чипов GPU, а производители, похоже, не могут выпустить их в достаточном количестве, чтобы удовлетворить спрос.
За каждой высококлассной моделью искусственного интеллекта стоит легион графических процессоров, которые работают без устали, и даже игроки с мировым именем не могут насытиться ими.
Для обучения моделей искусственного интеллекта требуются огромные вычислительные ресурсы, но производителей относительно мало, а высококлассные графические процессоры - это не то, что можно создать за одну ночь. Подавляющая часть спроса легла на плечи ветерана отрасли - компании Nvidia, которая в этом году увеличила свой рыночный капитал до $1tn.
Сейчас мало кому удается избежать дефицита графического процессора. - И чем дальше вы находитесь от Nvidia, тем меньше шансов получить их.
В мае генеральный директор OpenAI Сэм Альтман заявил в Сенате США: "Нам так не хватает графических процессоров, что чем меньше людей будут использовать этот инструмент, тем лучше".
Недавно снижение производительности GPT-4 Многие предположили, что OpenAI не смогла удовлетворить спрос, что вынудило ее изменить и настроить некоторые аспекты своей модели.
Тем временем в Китае нехватка графических процессоров привела к тому, что довольно причудливый черный рынок где покупателям приходится участвовать в теневых сделках по продаже чипов Nvidia A100 и H100 на этажах небоскреба SEG в Шэньчжэне - сценарий в стиле киберпанк, вырванный прямо из видеоигры Deus Ex.
Microsoft годовой отчёт недавно обратил внимание на длительную нехватку чипов искусственного интеллекта как на потенциальный фактор риска для инвесторов.
В отчете говорится: "Мы продолжаем находить и оценивать возможности для расширения расположения наших центров обработки данных и увеличения серверных мощностей, чтобы удовлетворить растущие потребности наших клиентов, особенно учитывая растущий спрос на услуги искусственного интеллекта".
И далее: "Наши центры обработки данных зависят от наличия разрешенной и пригодной для строительства земли, предсказуемого энергоснабжения, сетевых ресурсов и серверов, включая графические процессоры и другие компоненты".
Ненасытный аппетит к графическим процессорам
Вычислительные мощности являются серьезным узким местом для развития ИИ, но мало кто прогнозировал потребность в них такого масштаба.
Если бы такой уровень спроса был предсказуем, то производителей чипов ИИ было бы больше, чем Nvidia и несколько стартапов, а Nvidia, по некоторым оценкам, контролирует не менее 84% рынка. AMD и Intel только вступают в игру.
Радж Джоши, старший вице-президент Moody's Investors Service, сказал: "Никто не мог смоделировать, как быстро и насколько вырастет спрос", "Я не думаю, что отрасль была готова к такому всплеску спроса".
В своем майском отчете о прибылях и убытках Nvidia объявила, что "закупила значительно большее количество продукции на вторую половину года", чтобы удовлетворить растущий спрос на чипы для искусственного интеллекта.
AMD, тем временем, заявила, что собирается представить свой ответ на графические процессоры Nvidia для искусственного интеллекта ближе к концу года. "Интерес клиентов к нашим решениям в области искусственного интеллекта очень высок". сказал генеральный директор AMD Лиза Су.
Некоторые отраслевые эксперты полагают, что дефицит чипов может ослабнуть через два-три года, когда конкуренты Nvidia расширят свои предложения. Несколько стартапов сейчас работают день и ночь, чтобы удовлетворить этот взрывной спрос.
Все компании, способные создавать высококлассные чипы, подходящие для работы с искусственным интеллектом, будут преуспевать, но это редкая категория, так как GPU - это исключительно долгий процесс исследования и создания.
ИИ должен стать более бережливым
Относительно свежие разработчики ИИ, такие как Inflection, спешат создать колоссальные обучающие стеки.
После поднятия могущественный $1.3 млрд.Inflection планирует собрать кластер GPU из 22 000 высокопроизводительных чипов H100.
Для сравнения, компания Nvidia в сотрудничестве с CoreWeave недавно Превзошли все этапы обучения искусственному интеллекту с кластером из 3 584 чипов, включая обучение большой языковой модели (LLM), такой как GPT-3.5, примерно за 10 минут.
В то время как ведущие игроки в области ИИ борются за власть, наращивая мощности графических процессоров, что начинает напоминать феодальный захват земель, другие сосредоточены на усовершенствовании моделей ИИ, чтобы получить больше пользы от текущих технологий.
Например, разработчики из сообщества разработчиков с открытым исходным кодом недавно нашли способ запускать LLM на компактных устройствах, таких как MacBook.
"Необходимость - мать изобретения, верно?" Сид Шет, основатель и генеральный директор ИИ-стартапа d-Matrix рассказал CNN. "Теперь, когда люди не имеют доступа к неограниченному количеству вычислительных мощностей, они находят изобретательные способы использовать все, что у них есть, гораздо более разумным образом".
Более того, нехватка графических процессоров - приятная новость для тех, кто желает, чтобы развитие ИИ замедлилось: действительно ли технологии должны развиваться быстрее, чем они уже развиваются?
Скорее всего, нет. По словам Шета, "в чистом виде это будет замаскированным благословением".
