Пока ведутся разговоры о рисках, связанных с системами искусственного интеллекта, мы не можем упускать из виду нагрузку, которую технология оказывает на и без того перегруженные энерго- и водоснабжение планеты.
Сложные проекты машинного обучения (ML) зависят от целого созвездия технологий, включая оборудование для обучения (GPU) и оборудование для размещения и развертывания моделей ИИ.
Хотя эффективные методы и архитектуры обучения ИИ обещают снизить энергопотребление, бум ИИ только начался, и большие технологии наращивают инвестиции в требовательные к ресурсам центры обработки данных и облачные технологии.
По мере углубления климатического кризиса как никогда важно найти баланс между технологическим прогрессом и энергоэффективностью.
Энергетические проблемы для ИИ
Энергопотребление ИИ возросло с появлением сложных, требующих больших вычислительных затрат архитектур, таких как нейронные сети.
Например, GPT-4, по слухам, основан на 8 моделях с 220 миллиардами параметров каждая, что в общей сложности составляет около 1,76 триллиона параметров. В настоящее время Inflection строит кластер из 22 000 высококачественных чипов Nvidia, которая может стоить около $550,000,000 при приблизительной розничной цене $25,000 за карту. И это только за чипы.
Каждая продвинутая модель искусственного интеллекта требует огромных ресурсов для обучения, но до недавнего времени было сложно понять истинную стоимость разработки ИИ.
A исследование 2019 года Специалисты из Массачусетского университета в Амхерсте исследовали потребление ресурсов, связанное с использованием подходов, основанных на глубоких нейронных сетях (DNN).
Как правило, такие DNN требуют от специалистов по обработке данных ручной разработки или использования поиска нейронной архитектуры (NAS) для поиска и обучения специализированной нейронной сети с нуля для каждого конкретного случая.
Такой подход не только требует значительных ресурсов, но и наносит значительный ущерб окружающей среде. Исследование показало, что обучение одной большой нейронной сети на основе трансформатора, построенной с помощью NAS - инструмента, обычно используемого в машинном переводе, - привело к выбросу около 626 000 фунтов углекислого газа.
Это примерно эквивалентно выбросам газа за весь срок службы 5 автомобилей.
Карлос Гомес-Родригес, специалист по информатике из Университета А-Коруньи (Испания), прокомментировал исследование: "Хотя, вероятно, многие из нас думали об этом на абстрактном, расплывчатом уровне, цифры действительно показывают масштаб проблемы", добавив: "Ни я, ни другие исследователи, с которыми я их обсуждал, не считали, что воздействие на окружающую среду настолько существенно".
Затраты энергии на обучение модели являются лишь базовыми - минимальный объем работ, необходимый для приведения модели в рабочее состояние.
Как говорит Эмма Струбелл, кандидат наук из Массачусетского университета, "обучение одной модели - это минимальный объем работы, который вы можете выполнить".
Подход Массачусетского технологического института "раз и навсегда
Позднее исследователи из Массачусетского технологического института предложили решение этой проблемы: Подход "один раз для всех" (OFA).
Исследователи описать проблему при обычном обучении нейронных сетей: "Проектирование специализированных ДНС для каждого сценария требует больших инженерных и вычислительных затрат, либо с помощью человеческих методов, либо с помощью NAS. Поскольку такие методы требуют повторения процесса проектирования сети и повторного обучения разработанной сети с нуля для каждого случая, их общая стоимость растет линейно по мере увеличения количества сценариев развертывания, что приводит к чрезмерному потреблению энергии и выбросам CO2".
В парадигме OFA Массачусетского технологического института исследователи обучают одну нейронную сеть общего назначения, на основе которой могут быть созданы различные специализированные подсети. Процесс OFA не требует дополнительного обучения для новых подсетей, что сокращает энергоемкие часы работы GPU, необходимые для обучения моделей, и снижает выбросы CO2.
Помимо экологических преимуществ, подход OFA обеспечивает существенное повышение производительности. В ходе внутренних тестов модели, созданные с использованием подхода OFA, работали на граничных устройствах (компактных IoT-устройствах) в 2,6 раза быстрее, чем модели, созданные с использованием NAS.
Подход OFA Массачусетского технологического института был отмечен на 4-м конкурсе Low Power Computer Vision Challenge в 2019 году - ежегодном мероприятии, проводимом IEEE и способствующем исследованиям в области повышения энергоэффективности систем компьютерного зрения (CV).
Команда Массачусетского технологического института заняла первое место, а организаторы мероприятия отметили: "Решения этих команд превосходят лучшие решения в литературе".
Сайт 2023 Вызов для компьютерного зрения с низким энергопотреблением В настоящее время прием заявок на участие в конкурсе продолжается до 4 августа.
Роль облачных вычислений в воздействии ИИ на окружающую среду
Помимо обучения моделей, разработчикам необходимы огромные облачные ресурсы для размещения и развертывания моделей.
Крупные технологические компании, такие как Microsoft и Google, увеличивают инвестиции в облачные ресурсы до 2023 года, чтобы справиться с растущим спросом на продукты, связанные с искусственным интеллектом.
Облачные вычисления и связанные с ними центры обработки данных предъявляют огромные требования к ресурсам. По состоянию на 2016 г, предлагаемые оценки что на центры обработки данных по всему миру приходится от 1% до 3% мирового потребления электроэнергии, что эквивалентно энергопотреблению некоторых небольших государств.
Водный след центров обработки данных также колоссален. Крупные центры обработки данных могут потреблять миллионы галлонов воды ежедневно.
В 2020 году стало известно, что дата-центрам Google в Южной Каролине было разрешено использовать 549 миллионов галлонов водычто почти в два раза больше, чем за два года до этого. 15-мегаваттный центр обработки данных может потреблять до 360 000 галлонов воды ежедневно.
В 2022 году, Google раскрыл что глобальный парк центров обработки данных потребляет около 4,3 миллиарда галлонов воды. При этом они подчеркивают, что водяное охлаждение значительно эффективнее других технологий.
Крупные технологические компании имеют схожие планы по сокращению потребления ресурсов, например, Google, которая в 2017 году достигла своей цели - 100% своего энергопотребления покрыть за счет закупок возобновляемых источников энергии.
Аппаратное обеспечение ИИ нового поколения, смоделированное на основе человеческого мозга
ИИ требует огромного количества ресурсов, но наш мозг работает всего лишь на Мощность 12 Вт - Можно ли повторить такую энергоэффективность в технологиях искусственного интеллекта?
Даже настольный компьютер потребляет в 10 раз больше энергии, чем человеческий мозг, а мощные модели ИИ требуют в миллионы раз больше энергии. Создание технологий ИИ, способных повторить эффективность биологических систем, полностью изменит индустрию.
Справедливости ради стоит отметить, что это сравнение не учитывает того факта, что человеческий мозг "обучался" в течение миллионов лет эволюции. Кроме того, системы ИИ и биологический мозг справляются с разными задачами.
Но даже в этом случае создание аппаратных средств ИИ, способных обрабатывать информацию с таким же энергопотреблением, как и биологический мозг, позволит создать автономные биологически-вдохновленные ИИ, не привязанные к громоздким источникам питания.
В 2022 году группа исследователей из Индийского технологического института, Бомбей, объявила о разработке новый чип искусственного интеллекта, созданный по образцу человеческого мозга. Чип работает со спикерными нейронными сетями (SNN), которые имитируют обработку нейронных сигналов в биологическом мозге.
Мозг состоит из 100 миллиардов крошечных нейронов, соединенных с тысячами других нейронов через синапсы и передающих информацию посредством скоординированных электрических импульсов. Исследователи создали искусственные нейроны с ультранизким энергопотреблением, оснастив SNN током межполосного туннелирования (BTBT).
"В BTBT квантовый туннельный ток заряжает конденсатор сверхмалым током, а значит, требуется меньше энергии", - объясняет Удаян Гангули из исследовательской группы.
По словам профессора Гангули, по сравнению с существующими современными нейронами, реализованными в аппаратных SNN, их подход обеспечивает "в 5 000 раз меньшую энергию на всплеск при аналогичной площади и в 10 раз меньшую мощность в режиме ожидания при аналогичной площади и энергии на всплеск".
Исследователи успешно продемонстрировали свой подход в модели распознавания речи, созданной на основе слуховой коры головного мозга. SNN могут улучшить работу приложений на компактных устройствах, таких как мобильные телефоны и датчики IoT.
Цель команды - разработать "нейросинаптическое ядро с чрезвычайно низким энергопотреблением и механизм обучения на кристалле в реальном времени, которые являются ключевыми для автономных биологически вдохновленных нейронных сетей".
Влияние ИИ на окружающую среду часто игнорируется, но решение таких проблем, как энергопотребление чипов ИИ, также откроет новые пути для инноваций.
Если исследователи смогут смоделировать технологию ИИ на основе биологических систем, которые отличаются исключительной энергоэффективностью, это позволит создать автономные системы ИИ, не зависящие от достаточного количества энергии и подключения к центрам обработки данных.
