Совет директоров OpenAI объявил о создании Комитета по безопасности и охране, которому поручено давать рекомендации по критическим решениям в области безопасности и охраны для всех проектов OpenAI.
Комитет возглавляют директора Брет Тейлор (председатель), Адам Д'Анджело, Николь Селигман и генеральный директор OpenAI Сэм Альтман.
В состав комитета также войдут Александр Мадри (руководитель отдела готовности), Лилиан Венг (руководитель отдела систем безопасности), Джон Шульман (руководитель отдела науки выравнивания), Мэтт Найт (руководитель отдела безопасности) и Якуб Пачоцки (главный научный сотрудник).
Подход OpenAI к безопасности ИИ подвергался как внешней, так и внутренней критике. Прошлогоднее увольнение Альтмана было поддержано тогдашним членом совета директоров Ильей Суцкевером и другими, якобы по соображениям безопасности.
На прошлой неделе Суцкевер и Ян Лейке из команды OpenAI, занимающейся "супервыравниванием". покинул компанию. Лейке особо отметил вопросы безопасности как причину своего ухода, сказав, что компания позволила безопасности "отойти на второй план перед блестящими продуктами".
Вчера Лейк объявил, что присоединяется к Anthropic для работы над надзором и исследованиями в области выравнивания.
Я с нетерпением жду возможности присоединиться к AnthropicAI?ref_src=twsrc%5Etfw”>@AnthropicAI продолжить миссию супервыравнивания!
Моя новая команда будет работать над масштабируемым надзором, обобщением от слабого к сильному и автоматизированным исследованием выравнивания.
Если вы хотите присоединиться, мои сообщения открыты.
- Ян Лейке (@janleike) 28 мая 2024 года
Теперь Альтман не только вернулся на пост генерального директора, но и вошел в состав комитета, ответственного за выявление проблем безопасности. Бывший член совета директоров Хелен Тонер рассказала о причинах увольнения Альтмана, что заставляет задуматься о том, насколько прозрачно он будет реагировать на проблемы безопасности, которые обнаруживает комитет.
Судя по всему, руководство OpenAI узнало о выходе ChatGPT через Twitter.
❗EXCLUSIVE: "Мы узнали о том. ChatGPT в Твиттере".
Что на самом деле произошло в OpenAI? Бывший член совета директоров Хелен Тонер нарушает молчание, рассказывая новые шокирующие подробности о Сэме Altmanувольнения. Услышьте эксклюзивную, нерассказанную историю на шоу TED AI Show.
Вот лишь небольшая часть: pic.twitter.com/7hXHcZTP9e
- Билавал Сидху (@bilawalsidhu) 28 мая 2024 года
В течение следующих 90 дней Комитет по безопасности и охране будет оценивать и совершенствовать процессы и средства защиты OpenAI.
Рекомендации будут вынесены на утверждение совета директоров OpenAI, и компания обязалась опубликовать принятые рекомендации по безопасности.
Это требование дополнительных ограждений появилось после того, как OpenAI заявила, что начала обучение своей следующей пограничной модели, которая, по ее словам, "выведет нас на новый уровень возможностей на нашем пути к AGI".
Ожидаемая дата выхода новой модели не сообщается, но, скорее всего, обучение займет несколько недель, если не месяцев.
В обновленной информации о подходе к безопасности, опубликованной после саммита ИИ в Сеуле, OpenAI заявила: "Мы не будем выпускать новую модель, если она пересекает порог риска "Средний" в нашей системе готовности, пока не проведем достаточные мероприятия по безопасности, чтобы вернуть оценку после устранения последствий к "Среднему" уровню".
В компании заявили, что к работе над "красной командой" было привлечено более 70 внешних экспертов. GPT-4o до его выхода.
До представления комитетом своих выводов совету директоров осталось 90 дней, обучение началось совсем недавно, и, судя по всему, нам придется долго ждать, прежде чем мы наконец получим GPT-5.
Или они имеют в виду, что только начали тренироваться в GPT-6?
