Бывшие сотрудники OpenAI опубликовали открытое письмо под названием ‘Право на предупреждение’.

Группа бывших и нынешних сотрудников OpenAI и Google призывает компании, занимающиеся разработкой ИИ, к опасной, по их мнению, культуре секретности, связанной с рисками ИИ.

В письме под названием "Право предупреждать о передовом искусственном интеллекте" говорится, что у компаний, занимающихся разработкой искусственного интеллекта, есть серьезные финансовые стимулы для того, чтобы избегать эффективного надзора за потенциальными рисками, связанными с искусственным интеллектом.

В письме говорится, что компании не только проявляют безрассудство, фокусируясь на финансовых целях, а не на безопасности, но и используют карательные соглашения о конфиденциальности, чтобы активно отбивать у сотрудников желание поднимать тревогу.

Все подписавшие письмо - бывшие сотрудники OpenAI и Google, а Нил Нанда - единственный, кто до сих пор работает в Google. Письмо также поддержали ведущие специалисты в области ИИ Йошуа Бенгио, Джеффри Хинтон и Стюарт Рассел.

В подтверждение опасений по поводу того, что их бывшие работодатели могут быть названы виновными, 6 человек, подписавших письмо, не захотели раскрывать свои имена в письме.

Бывшие исследователи OpenAI Даниэль Кокотайло и Уильям Сондерс, которые также подписали письмо, покинули компанию в начале этого года.

Кокотайло был членом команды по управлению, а Сондерс работал в команде OpenAI по суперсогласованию, которая была расформирована в прошлом месяце, когда Илья Суцкевер и Ян Лейке также ушли по соображениям безопасности.

Кокотайло объяснил причину своего ухода на форуме, сказав, что не считает, что OpenAI будет "вести себя ответственно во времена AGI".

Призыв к действию

В письме содержится призыв к компаниям, занимающимся разработкой ИИ, взять на себя больше обязательств в условиях отсутствия нормативных актов, регулирующих риски, связанные с ИИ, о которых общественность не знает.

В письме говорится: "Обычные меры защиты информаторов недостаточны, поскольку они направлены на противозаконную деятельность, в то время как многие риски, которые нас беспокоят, пока не регулируются".

В письме содержится призыв к компаниям, занимающимся разработкой ИИ, придерживаться четырех принципов. Вкратце, они хотят, чтобы компании:

• Не заключать и не исполнять соглашения, запрещающие критиковать компанию по вопросам безопасности или удерживать финансовые выплаты, причитающиеся сотруднику. (например, OpenAI)
• Обеспечьте анонимный процесс, позволяющий сотрудникам сообщать о проблемах, связанных с рисками, совету директоров компании или другим регулирующим организациям.
• Поддержка культуры открытой критики, позволяющей сотрудникам предавать гласности проблемы, связанные с рисками, не раскрывая при этом интеллектуальную собственность.
• Не применять ответные меры в отношении нынешних и бывших сотрудников, которые публично делятся конфиденциальной информацией, связанной с рисками, после того как другие процессы не дали результатов.

Несколько человек из списка подписантов считают себя настоящими альтруистами. Из их постов и комментариев ясно, что такие люди, как Дэниел Кокотайло (Less Wrong) и Уильям Сондерс (AI Alignment Forum), считают, что все может закончиться очень плохо, если не управлять рисками ИИ.

Но это не тролли-судьбоносцы на форуме, взывающие со стороны. Это ведущие интеллектуалы, которых такие компании, как OpenAI и Google, сочли нужным использовать для создания технологий, которых они теперь боятся.

А теперь они говорят: "Мы видели вещи, которые нас пугают. Мы хотим предупредить людей, но нам не разрешают".

Вы можете прочитать письмо здесь.