Индустрия искусственного интеллекта должна учиться у ядерной безопасности, утверждают эксперты

6 июня 2023 года

ядерная безопасность

Развитие ИИ идет быстрыми темпами, поэтому регулированию приходится догонять его, а управление в некоторой степени отходит на второй план.

Официальных процессов, обеспечивающих безопасность ИИ, не так много, и исследователи утверждают, что изменить ситуацию должна сама индустрия.

Многие лидеры и деятели отрасли сравнивают ИИ с атомной энергией. Существует много сходств - ИИ быстро развивается, он представляет собой потенциальную угрозу существованию, и все это осложняется внешними отношениями, на этот раз между формирующимися ИИ-сверхдержавами - США и Китаем.

Прошло несколько десятилетий, прежде чем инженеры-ядерщики убедили широкое научное сообщество в безопасности ядерных реакторов. Первые реакторы были построены в конце 40-х - начале 50-х годов, и только после принятия Закона об атомной энергии США 1954 года появился хоть какой-то уровень регулирования. 

Правительство США осознавало риски, связанные с атомной энергетикой, но СССР запустил первый гражданский реактор в середине 1954 года, поэтому они не теряли времени на строительство своего собственного. В 1955 году комиссар Уиллард Ф. Либби сказал: "Наша большая опасность заключается в том, что это великое благо для человечества будет убито ненужным регулированием".

Ничего не напоминает? Только в прошлом месяце генеральный директор OpenAI Сэм Альтман призвал международный орган В 1957 году было создано Международное агентство по атомной энергии (МАГАТЭ), занимающееся вопросами безопасности ИИ. Как и атомная энергия, гПравительства по всему миру работают над тем, как сохранить преимущества ИИ и одновременно регулировать риски. 

МАГАТЭ было автономным компонентом ООН и в настоящее время насчитывает 174 государства-члена. После 1957 года, вплоть до Чернобыля, ядерных катастроф было относительно немного.

ИИ должен извлечь уроки из истории ядерной безопасности

Хейди Хлааф, инженерный директор консалтинговой компании по кибербезопасности След из кусочковИспользуется для оценки и проверки безопасности атомных станций. Недавно она рассказала в интервью MIT что атомные электростанции требуют тысячи документов, подтверждающих их безопасность, вникая в мельчайшие нюансы каждого отдельного компонента. 

После Чернобыля регулирование атомной энергетики стало чрезвычайно строгим. Планирование, лицензирование и строительство ядерного реактора может занять 10 лет и более, отчасти потому, что этот процесс так строго контролируется на каждом этапе. Хлааф отмечает, что это не имеет ничего общего с прибылью - ядерная безопасность порождена реальным экзистенциальным риском. 

В отличие от этого, компании, занимающиеся разработкой ИИ, сообщают о своих моделях с помощью простых "карточек", в которых, по сути, перечислены функции. 

Кроме того, внутренняя работа модели часто представляет собой "черный ящик", то есть процессы принятия решений в значительной степени закрыты для внешних наблюдателей. 

Даже ChatGPT, вопреки тезке OpenAI, является "черным ящиком", а компании, занимающиеся разработкой искусственного интеллекта, уже завоевали репутацию не разглашают информацию о своих моделях и учебных данных. 

Представьте себе, что ядерные реакторы - это "черный ящик", и их разработчики не рассказывают общественности о том, как они работают? 

Анализ рисков ИИ должен быть систематическим 

Чтобы снизить риски, связанные с ИИ, которые с готовностью признают такие лидеры, как Альтман, компании должны более глубоко прорабатывать свои стратегии отслеживания. Это предполагает тщательный мониторинг с самого начала процесса разработки ИИ. 

Хлааф говорит: "Вам нужно систематически прорабатывать риски. Это не сценарий, в котором вы просто говорите: "О, это может случиться. Давайте я просто запишу это"". 

В настоящее время не существует устоявшегося процесса оценки рисков ИИ, но предпринимаются некоторые попытки его создания. 

Например, Недавно компания DeepMind опубликовала технический блог в сотрудничестве с несколькими университетами, уточнив, что перед обучением модели должны быть оценены на предмет "экстремальных рисков". В документе предложены две стратегии:

  1. Оценка масштабов "опасных возможностей" модели, которые могут быть использованы для угрозы безопасности, оказания влияния или уклонения от человеческого надзора.
  2. Оценка степени вероятности причинения вреда моделью, например, рискует ли она повести себя не так, как предполагалось. 

Тоби Шевлейн, один из исследователей проекта, сказал: "Ведущие компании, занимающиеся разработкой ИИ и продвигающиеся вперед, обязаны следить за возникающими проблемами и выявлять их на ранней стадии, чтобы мы могли решить их как можно скорее".

Если ИИ должен учиться у ядерной безопасности, то раннее регулирование имеет решающее значение, но долгосрочная самоуспокоенность смертельно опасна. Никто не знает, как будет выглядеть ИИ-версия Чернобыля или Фукусимы, и никто не хочет этого знать.

Присоединяйтесь к будущему


ПОДПИСАТЬСЯ СЕГОДНЯ

Четко, лаконично, всесторонне. Получите представление о развитии искусственного интеллекта с помощью DailyAI

Сэм Джинс

Сэм - писатель в области науки и техники, работавший в различных AI-стартапах. Когда он не пишет, его можно найти за чтением медицинских журналов или копанием в коробках с виниловыми пластинками.

×

ЭКСКЛЮЗИВНЫЙ БЕСПЛАТНЫЙ PDF
Будьте впереди с DailyAI

Подпишитесь на нашу еженедельную рассылку и получите эксклюзивный доступ к последней электронной книге DailyAI: "Освоение инструментов искусственного интеллекта: Ваше руководство по повышению производительности в 2024 году".

* Подписываясь на нашу рассылку, вы принимаете наши Политика конфиденциальности и наш Условия и положения