NVIDIA CEO Jensen Huang недавно подробно рассказал о новейшем чипе ускорителя искусственного интеллекта под названием Blackwell на ключевой презентации компании на выставке Computex 2024.
С помощью Blackwell NVIDIA стремится закрепить свое доминирование в развивающемся аппаратном пространстве ИИ, доказывая свою способность к прогрессивным инновациям.
Рыночная стоимость компании стремительно приближается к отметке $3 триллиона, и рост NVIDIA до верховного лидера в области инфраструктуры искусственного интеллекта не может не поражать.
Хуанг не видит признаков остановки прогресса, поскольку компания Продолжает бить ожидания аналитиков.
Но что на самом деле говорят нам технические характеристики и цифры о возможностях и потенциальном влиянии Блэквелла?
Давайте рассмотрим, как это может повлиять на индустрию ИИ и общество в целом.
Сырая вычислительная мощность
Главная цифра заключается в том, что один Блэквелл "Суперчип" - состоящий из двух графических процессоров, соединенных высокоскоростным каналом связи, содержит 208 миллиардов транзисторов.
Это почти в 3 раза больше, чем у предыдущего поколения чипов Hopper от NVIDIA. NVIDIA утверждает, что это означает 30-кратный прирост скорости в задачах вывода ИИ по сравнению с Hopper.
Чтобы представить это в перспективе, давайте рассмотрим пример большой языковой модели (LLM) со 100 миллиардами параметров, аналогичной по масштабу GPT-3.
Для создания такой модели на графических процессорах NVIDIA A100 предыдущего поколения потребовалось бы около 1024 чипов A100, работающих в течение месяца.
С Blackwell NVIDIA утверждает, что та же модель может быть обучена чуть более чем за неделю с помощью 256 чипов Blackwell - сокращение времени обучения в 4 раза.
Энергоэффективность
Несмотря на значительный прирост производительности, NVIDIA утверждает, что Blackwell может снизить стоимость и энергопотребление до 25 раз по сравнению с Hopper для определенных рабочих нагрузок ИИ.
Компания привела пример обучения модели с 1,8 триллионами параметров, для чего ранее потребовалось бы 8000 графических процессоров Hopper, потребляющих 15 мегаватт энергии.
В Blackwell NVIDIA утверждает, что этого можно достичь с помощью 2000 GPU, потребляющих всего 4 мегаватта.
Хотя потребление энергии в 4 мегаватта для одного цикла обучения ИИ все еще остается значительным, впечатляет тот факт, что Blackwell может обеспечить почти 4-кратное увеличение энергоэффективности для такой требовательной задачи.
Давайте не будем преуменьшать цифры. Если говорить о 4 мегаваттах, то это эквивалентно среднему энергопотреблению более чем 3000 американских домохозяйств.
Таким образом, один суперкомпьютер ИИ на базе Blackwell, обучающий самую современную модель, за время обучения потребит столько же энергии, сколько целый город.
И это только для одного тренировочного прогона - организации, разрабатывающие крупные модели ИИ, часто совершенствуют свои модели в течение многих итераций, а затем мы должны учесть, что существуют сотни организаций, разрабатывающих крупные модели.
Экологические затраты
Даже при повышении энергоэффективности широкое распространение Blackwell может значительно увеличить общее потребление энергии в промышленности.
Например, предположим, что в настоящее время в мире для обучения и вычисления ИИ используется около 100 000 высокопроизводительных графических процессоров.
Если Blackwell обеспечит 10-кратный рост внедрения ИИ в ближайшие годы, что не кажется экстраординарной цифрой, взятой из воздуха, это будет означать 1 миллион используемых графических процессоров Blackwell.
При мощности 1,875 киловатта на GPU, которую привел Хуанг, 1 миллион графических процессоров Blackwell будет потреблять 1,875 гигаватта энергии - почти столько же, сколько две средние атомные электростанции.
Строительство атомных электростанций занимает много лет и обходится в триллионы. Они предназначены в первую очередь для поддержки общенациональной инфраструктуры, а не только для обучения моделей ИИ.
Предыдущие анализы прогнозируют, что к 2027 году рабочие нагрузки ИИ будут потреблять столько же энергии, сколько небольшая страна, и пока трудно понять, как именно можно будет удовлетворить эти потребности.
Потребление воды также является колоссальной проблемой: компания Microsoft сообщила об огромном увеличении потребления воды. водопотребление с 2022 по 2023 гг.что коррелирует с обучением моделей ИИ и спросом на центры обработки данных.
Некоторые районы США уже столкнулись с нехваткой воды из-за потребления ее центрами обработки данных.
Если не найти лучших способов запуска аппаратного обеспечения ИИ на основе возобновляемых источников энергии, выбросы углекислого газа и потребление воды от ИИ на базе Blackwell будут огромными, а NVIDIA ускорит наступление "гипермасштабной" эры обучения моделей ИИ.
Помимо энергопотребления, необходимо учитывать и другие экологические издержки, например, затраты на редкоземельные минералы и другие ресурсы, необходимые для масштабного производства передовых чипов, подобных Blackwell, а также отходы, образующиеся после окончания срока их службы.
Это не значит, что общественные выгоды от использования возможностей ИИ, открываемых Блэквеллом, не перевесят эти экологические издержки.
Но это означает, что воздействие на окружающую среду должно быть тщательно продумано и смягчено в рамках любого ответственного плана развертывания Blackwell. Остается открытым вопрос, насколько это возможно или реально.
Потенциальное влияние Блэквелла
Давайте подумаем, как мог бы выглядеть мир в эпоху повсеместного внедрения Blackwell.
Некоторые предварительные оценки дают представление о возможностях и рисках:
- Языковые модели, в 10 раз превосходящие GPT-3, можно будет обучать за такое же время и с использованием такого же количества вычислительных ресурсов, как и GPT-3. Это позволит совершить значительный скачок в развитии возможностей ИИ на естественном языке.
- Как описано на ключевом событииЦифровые помощники с возможностями, приближающимися к человеческим, могут стать экономически эффективными при разработке и широком внедрении. ИИ, способный решать 80% типичных задач в сфере знаний за 1/10 стоимости человеческого работника, мог бы заменить до 45 миллионов рабочих мест только в США.
- Вычислительные возможности для обучения системы ИИ с общим интеллектом, равным или превышающим человеческий мозг, могут оказаться в пределах досягаемости. Оценки вычислительных возможностей мозга варьируются от 10^13 до 10^16 нейронных связей. Суперкомпьютер Blackwell, оснащенный 1 миллионом графических процессоров, будет иметь примерно 10^18 вычислительных операций - потенциально достаточно, чтобы моделировать аспекты человеческого мозга в реальном времени.
Конечно, это весьма умозрительные сценарии, и их следует воспринимать с большой долей соли. Техническая осуществимость не обязательно переходит в реальное развертывание.
Тем не менее, они подчеркивают огромный и разрушительный потенциал ускорения ИИ, которое NVIDIA обеспечивает с помощью Blackwell.
Хуанг назвал Blackwell "новой вычислительной платформой для новой эры вычислений". Судя по цифрам, с такой характеристикой трудно поспорить.
Блэквелл, похоже, готов стать началом следующего крупного этапа революции ИИ - к лучшему или к худшему.
Какими бы впечатляющими ни были технические характеристики чипа, обществу потребуется нечто большее, чем аппаратные инновации, чтобы справиться с последствиями применения этой технологии.
Тщательный учет воздействия на окружающую среду и прилагаемых усилий должен стать частью уравнения и анализа затрат и выгод.
Хотя чипы, подобные Blackwell, становятся все более энергоэффективными, одного этого, вероятно, недостаточно для поддержания нынешнего прогресса.
Найдет ли индустрия выход? Возможно.
Но у нас впереди еще несколько лет, чтобы понять, как риски и преимущества ИИ отразятся на обществе, да и на самой планете.
