Группа бывших и нынешних сотрудников OpenAI и Google призывает компании, занимающиеся разработкой ИИ, к опасной, по их мнению, культуре секретности, связанной с рисками ИИ.
В письме под названием "Право предупреждать о передовом искусственном интеллекте" говорится, что у компаний, занимающихся разработкой искусственного интеллекта, есть серьезные финансовые стимулы для того, чтобы избегать эффективного надзора за потенциальными рисками, связанными с искусственным интеллектом.
В письме говорится, что компании не только проявляют безрассудство, фокусируясь на финансовых целях, а не на безопасности, но и используют карательные соглашения о конфиденциальности, чтобы активно отбивать у сотрудников желание поднимать тревогу.
Все подписавшие письмо - бывшие сотрудники OpenAI и Google, а Нил Нанда - единственный, кто до сих пор работает в Google. Письмо также поддержали ведущие специалисты в области ИИ Йошуа Бенгио, Джеффри Хинтон и Стюарт Рассел.
В подтверждение опасений по поводу того, что их бывшие работодатели могут быть названы виновными, 6 человек, подписавших письмо, не захотели раскрывать свои имена в письме.
Бывшие исследователи OpenAI Даниэль Кокотайло и Уильям Сондерс, которые также подписали письмо, покинули компанию в начале этого года.
Кокотайло был членом команды по управлению, а Сондерс работал в команде OpenAI по суперсогласованию, которая была расформирована в прошлом месяце, когда Илья Суцкевер и Ян Лейке также ушли по соображениям безопасности.
Кокотайло объяснил причину своего ухода на форуме, сказав, что не считает, что OpenAI будет "вести себя ответственно во времена AGI".
Призыв к действию
В письме содержится призыв к компаниям, занимающимся разработкой ИИ, взять на себя больше обязательств в условиях отсутствия нормативных актов, регулирующих риски, связанные с ИИ, о которых общественность не знает.
В письме говорится: "Обычные меры защиты информаторов недостаточны, поскольку они направлены на противозаконную деятельность, в то время как многие риски, которые нас беспокоят, пока не регулируются".
В письме содержится призыв к компаниям, занимающимся разработкой ИИ, придерживаться четырех принципов. Вкратце, они хотят, чтобы компании:
- Не заключать и не исполнять соглашения, запрещающие критиковать компанию по вопросам безопасности или удерживать финансовые выплаты, причитающиеся сотруднику. (например, OpenAI)
- Обеспечьте анонимный процесс, позволяющий сотрудникам сообщать о проблемах, связанных с рисками, совету директоров компании или другим регулирующим организациям.
- Поддержка культуры открытой критики, позволяющей сотрудникам предавать гласности проблемы, связанные с рисками, не раскрывая при этом интеллектуальную собственность.
- Не применять ответные меры в отношении нынешних и бывших сотрудников, которые публично делятся конфиденциальной информацией, связанной с рисками, после того как другие процессы не дали результатов.
Несколько человек из списка подписантов считают себя настоящими альтруистами. Из их постов и комментариев ясно, что такие люди, как Дэниел Кокотайло (Less Wrong) и Уильям Сондерс (AI Alignment Forum), считают, что все может закончиться очень плохо, если не управлять рисками ИИ.
Но это не тролли-судьбоносцы на форуме, взывающие со стороны. Это ведущие интеллектуалы, которых такие компании, как OpenAI и Google, сочли нужным использовать для создания технологий, которых они теперь боятся.
А теперь они говорят: "Мы видели вещи, которые нас пугают. Мы хотим предупредить людей, но нам не разрешают".
Вы можете прочитать письмо здесь.
