Ilya Sutskever и Jan Leike с сайта OpenAIНа этой неделе ушла в отставку команда "суперсогласования", бросив тень на приверженность компании ответственному развитию ИИ под руководством генерального директора Сэма Altman.
Лейке, в частности, не сбавлял оборотов. "За последние годы культура безопасности и процессы отошли на второй план по сравнению с блестящими продуктами", - заявил он в прощальном слове, подтвердив беспокойство тех, кто наблюдал за происходящим. OpenAI'стремление к созданию передового искусственного интеллекта.
Вчера был мой последний день в качестве руководителя отдела выравнивания, руководителя отдела супервыравнивания и исполнительного директора. OpenAI?ref_src=twsrctfw">@OpenAI.
- Ян Лейке (@janleike) 17 мая 2024 года
Суцкевер и Лейке - последние представители в постоянно пополняющемся списке громких кадровых перестановок в компании. OpenAI.
С ноября 2023 года, когда Altman в результате попытки переворота в зале заседаний совета директоров, по меньшей мере пять других ключевых членов команды суперсогласования либо уволились, либо были вынуждены покинуть компанию:
- Даниэль Кокотайло, который присоединился к OpenAI в 2022 году, надеясь направить компанию в русло ответственного развития искусственного интеллекта общего назначения (ИОН) - высокоспособного ИИ, который соответствует или превосходит наше собственное познание, - уволился в апреле 2024 года, потеряв веру в способность руководства "ответственно относиться к ИОН".
- Леопольд Ашенбреннер и Павел Измайлов, члены команды супервыравнивания, были якобы уволены в прошлом месяце за "утечку" информации, хотя OpenAI не предоставил никаких доказательств правонарушений. Инсайдеры предполагают, что их выбрали за то, что они были союзниками Суцкевера.
- Каллен О'Киф, еще один исследователь в области безопасности, покинул компанию в апреле.
- Уильям Сондерс подал в отставку в феврале но, по всей видимости, связан соглашением о неразглашении его причин.
Amid these developments, OpenAI якобы угрожал лишить сотрудников прав на акции, если они будут критиковать компанию или Altman сам, согласно Vox.
Это мешает по-настоящему понять суть проблемы. OpenAI, but Данные свидетельствуют о том, что инициативы по обеспечению безопасности и выравниванию проваливаются, если они вообще были искренними.
OpenAIПротиворечивый сюжет сгущается
OpenAIОснованная в 2015 году Элоном Маском и Сэмом AltmanОн был приверженцем исследований с открытым исходным кодом и ответственной разработки ИИ.
Однако в последние годы, по мере того как расширялось видение компании, она стала отступать за закрытые двери. В 2019 г, OpenAI официально перешел из некоммерческая исследовательская лаборатория в организацию с "ограниченной прибылью"что усиливает опасения по поводу того, что коммерциализация будет преобладать над прозрачностью.
С тех пор, OpenAI охраняет свои исследования и модели с помощью железных соглашений о неразглашении и угрозы судебного преследования сотрудников, осмелившихся высказаться.
Среди других ключевых противоречий в короткой истории стартапа можно назвать:
- В 2019 году, OpenAI ошеломила сообщество ИИ, превратившись из некоммерческой исследовательской лаборатории в компанию с фиксированной прибылью, что ознаменовало отход от принципов ее основания.
- В прошлом году появились сообщения о закрытых встречах между OpenAI и военные и оборонные организации.
- AltmanНепостоянство его твитов вызывает недоумение: от рассуждений о глобальном управлении с помощью искусственного интеллекта до признания риска экзистенциального уровня, в котором он предстает в роли пилота корабля, которым уже не может управлять.
- Это самый серьезный удар по AltmanСуцкевер сам был частью неудавшийся переворот в зале заседаний в ноябре 2023 года, целью которого было смещение генерального директора. Altman Ему удалось удержаться у власти, показав, что он действительно привязан к компании так, что его трудно разорвать даже самому совету директоров.
В Кремниевой долине нередки драмы в зале заседаний и кризисы, связанные с находками, OpenAIИх работа, по их собственному признанию, может иметь решающее значение для глобального общества.
Общественность, регулирующие органы и правительства хотят, чтобы управление в компании было последовательным и не вызывало споров. OpenAIНо короткая и бурная история стартапа говорит о другом.
OpenAI становится антигероем генеративного ИИ
В то время как "кресельные" диагнозы и нападки на персонажей Altman безответственны, его история манипуляций и стремления к достижению личных целей в жертву соратникам и общественному доверию вызывает неудобные вопросы.
Отражением этого стали разговоры о том, что Altman и его компания становятся все более зловещими на X, Reddit и форуме Y Combinator.
Несмотря на то что технологические боссы часто вызывают неоднозначную реакцию, они обычно завоевывают сторонников, что демонстрирует Элон Маск, один из самых провокационных типов. Другие, как Microsoft CEO Satya NadellaОни завоевали уважение благодаря своей корпоративной стратегии и контролируемому, зрелому стилю руководства.
Давайте также узнаем, как другие стартапы в области искусственного интеллекта, такие как Anthropicнесмотря на свои высокие достижения в области генеративного ИИ, им удается оставаться довольно малоизвестными. OpenAIС другой стороны, он сохраняет интенсивную, противоречивую гравитацию, которая удерживает его в поле зрения общественности, что не идет на пользу ни его имиджу, ни имиджу генеративного ИИ в целом.
В конце концов, мы должны говорить все как есть. OpenAIСекретность компании способствовала тому, что она перестала быть добросовестным участником в области ИИ.
IЭто заставляет общественность задуматься о том, что генеративный ИИ может скорее разрушить общество, чем помочь ему. Это посылает сигнал о том, что разработка AGI - дело закрытое, игра, в которую играют представители технологической элиты, не задумываясь о более широких последствиях.
Моральное лицензирование технологической индустрии
Моральное лицензирование уже давно является проблемой для технологической индустрии, где предполагаемое благородство текущей корпоративной миссии используется для оправдания этических компромиссов.
От мантры Facebook "Двигайся быстро и ломай вещи" до лозунга Google "Не будь злом" - технологические гиганты неоднократно ссылались на язык прогресса и социального блага, при этом занимаясь сомнительной деятельностью.
OpenAIМиссия компании по исследованию и разработке AGI "на благо всего человечества" предлагает, возможно, высшую форму морального лицензирования.
Обещание технологии, способной решить величайшие мировые проблемы и открыть эру беспрецедентного процветания, очень соблазнительно. Оно взывает к нашим самым сокровенным надеждам и мечтам, пробуждая желание оказать на мир длительное положительное влияние.
Но в этом и кроется опасность. Когда ставки так высоки, а потенциальное вознаграждение так велико, становится слишком легко оправдать срезание углов, обход этических границ и отказ от критики во имя "высшего блага", которое не может определить ни один человек или небольшая группа, даже при наличии всего финансирования и исследований в мире.
Это ловушка, которая OpenAI рискует попасть впросак. Позиционируя себя как создателя технологии, которая принесет пользу всему человечеству, компания, по сути, предоставила себе право добиваться своего любыми способами.
Итак, что же мы можем с этим поделать? Ну, разговоры - дело дешевое. Ключевую роль играют надежное управление, постоянный прогрессивный диалог и постоянное давление, направленное на совершенствование отраслевой практики.
Что касается OpenAI как общественное давление и критика СМИ в отношении OpenAI расти, Altmanпозиция может стать менее устойчивой.
Если он уйдет или будет смещен, нам придется надеяться, что огромный вакуум, который он оставит после себя, заполнится чем-то позитивным.
