Компания Nvidia масштабировала и оптимизировала свой суперкомпьютер Eos AI для установления новых рекордов в бенчмарке MLPerf для обучения искусственному интеллекту.
Когда в мае компания Nvidia включила свой суперкомпьютер Eos для работы с искусственным интеллектом, 10 752 графических процессора NVIDIA H100 Tensor Core ожили, и только что они прошли несколько реальных тестовых испытаний.
Эта беспрецедентная вычислительная мощность вместе с новыми программными оптимизациями позволила Eos расширить возможности MLPerf. эталон на рекордную территорию.
Эталон MLPerf с открытым исходным кодом представляет собой набор тестов для обучения и вывода, предназначенных для измерения производительности рабочих нагрузок машинного обучения на реальных наборах данных.
Одним из выдающихся результатов стало то, что Eos смогла обучить модель GPT-3 со 175 миллиардами параметров на одном миллиарде токенов всего за 3,9 минуты.
Когда Nvidia установила рекорд в этом бенчмарке менее 6 месяцев назад, это заняло почти в 3 раза больше времени - 10,9 минуты.
В ходе тестов Nvidia также смогла достичь показателя эффективности 93%, что означает использование почти всей вычислительной мощности, теоретически доступной в Eos.
Microsoft Azure, использующая в своей виртуальной машине ND H100 v5 практически такую же конфигурацию H100, как и Eos, в своих тестах MLPerf оказалась в пределах 2% от результатов Nvidia.
В 2018 году Дженсен Хуанг, генеральный директор Nvidia, заявил, что производительность графических процессоров будет увеличиваться более чем в два раза каждые два года. Это утверждение было названо "законом Хаунга" и оказалось верным, поскольку оно оставляет Закон Мура исчезает в вычислительном зеркале заднего вида.
И что?
В тесте MLPerf, в котором Nvidia преуспела, используется лишь часть полного набора данных, на котором обучался GPT-3. Если взять время, установленное Eos в тесте MLPerf, и экстраполировать его на весь набор данных GPT-3, то полная модель может быть обучена всего за 8 дней.
Если бы вы попытались сделать это с помощью предыдущей современной системы, состоящей из 512 графических процессоров A100, это заняло бы около 170 дней.
Если вы обучаете новую модель искусственного интеллекта, можете ли вы представить себе разницу во времени выхода на рынок и затратах, которая составляет 8 дней против 170 дней?
Графические процессоры H100 не только намного мощнее графических процессоров A100, но и в 3,5 раза более энергоэффективны. Энергопотребление и Углеродный след искусственного интеллекта это реальные проблемы, требующие решения.
Чтобы понять, насколько быстро совершенствуется искусственный интеллект, вспомните о ChatGPT, который был запущен чуть меньше года назад. Базовая модель, GPT-3, была обучена на 10 240 графических процессорах Nvidia V100.
Менее чем через год Eos обладает в 28 раз большей вычислительной мощностью, чем эта система, при этом эффективность повысилась в 3,5 раза.
Завершая недавний DevDay, Сэм Альтман (Sam Altman) из OpenAI сказал, что проекты, над которыми работает OpenAI, заставят обратить внимание на ее последние релизы.
Учитывая скачок в вычислительной мощности, которого добиваются такие компании, как Nvidia, утверждение Альтмана, скорее всего, отражает будущее индустрии ИИ в целом.
