Недавно компания OpenAI сообщила, что ее совет директоров имеет право отменять решения генерального директора о выпуске новых моделей ИИ, даже если они были признаны руководством компании безопасными.
Эта информация была подробно изложена в опубликованном в понедельник руководстве, в котором описывается стратегия компании по устранению потенциальных экстремальных рисков, создаваемых ее самыми передовыми системами искусственного интеллекта.
Хотя руководство компании может изначально принять решение о выпуске новой системы искусственного интеллекта, совет директоров оставляет за собой право отменить это решение.
Сэм Альтман, генеральный директор OpenAI, был уволен со своего поста и тут же восстановлен на работе, что свидетельствует о любопытной динамике власти между директорами и руководителями компании.
После случившегося многие предположили, что Альтман не уделял должного внимания безопасности моделей, что он был, так сказать, "поглощен своей работой". В более поздних отчетах, в том числе президента Microsoft Брэда Смита, это ставится под сомнение, который сказал, что считает это маловероятным. что главным мотивом была безопасность.
Не последнюю роль сыграло и то, что OpenAI получила огромную оценку, и ее сотрудники хотели обналичить свои опционы на акции.
Business Insider утверждает. что сотрудники OpenAI использовали свое открытое письмо о том, что они покинут компанию, если Альтман не будет восстановлен в должности, в качестве разменной монеты. Один из сотрудников даже сказал, что он плохой генеральный директор, хотя эти сообщения не подтверждены.
Компания OpenAI решила развеять опасения по поводу небезопасного использования ИИ, опубликовав результаты нового исследования "эксперимент "супервыравнивание а также увеличив "полномочия" своей команды "готовности".
OpenAI's группа готовностиПод руководством Александра Мадри, который в настоящее время находится в отпуске из Массачусетского технологического института, постоянно оценивают системы искусственного интеллекта по различным категориям риска, включая кибербезопасность и угрозы, связанные с химической, ядерной и биологической областями.
Эта команда призвана выявить и смягчить любые значительные опасности, связанные с технологией. Согласно руководству, риски, классифицируемые как "катастрофические", могут привести к значительному экономическому ущербу или серьезному вреду для многих людей.
Мэдри объяснил этот процесс, заявив: "ИИ - это не что-то, что просто происходит с нами и может быть хорошим или плохим. Это то, что мы формируем". Он также выразил надежду, что другие компании примут рекомендации OpenAI по оценке рисков.
Его команда, сформированная в октябре как часть трех отдельных групп, отвечающих за безопасность ИИ в OpenAI, будет оценивать еще не выпущенные модели ИИ и классифицировать предполагаемые риски как "низкие", "средние", "высокие" или "критические". Только модели, получившие оценку "средний" или "низкий", будут рассматриваться для выпуска.
Мы систематизируем наше мышление в области безопасности с помощью Рамочной основы готовности - живого документа (в настоящее время он находится в стадии бета-версии), в котором подробно описаны технические и операционные инвестиции, которые мы принимаем для обеспечения безопасности разработки наших пограничных моделей.https://t.co/vWvvmR9tpP
- OpenAI (@OpenAI) 18 декабря 2023 года
Говоря о своей новой политике в отношении X, OpenAI заявила: "Мы систематизируем наше мышление в области безопасности с помощью нашей системы готовности (Preparedness Framework), живого документа (в настоящее время находящегося в стадии бета-версии), в котором подробно описаны технические и операционные инвестиции, которые мы принимаем для обеспечения безопасности разработки наших пограничных моделей".
В дополнение к этим мерам у OpenAI есть внутренняя консультативная группа по безопасности, которая анализирует выводы команды Мэдри и дает рекомендации Альтману и совету директоров.
