На решение уволить Сэма Альтама, возможно, повлияли эффективные альтруистические идеалы, разделяемые членами совета директоров OpenAI. Временный генеральный директор Эммет Шир делится некоторыми своими опасениями по поводу ИИ.
В широком смысле концепция эффективного альтруизма (ЭА) заключается в том, чтобы браться за решение самых острых мировых проблем и предпринимать логичные действия для достижения максимального положительного результата для человечества.
Применительно к сфере ИИ многие сторонники EA бьют тревогу по поводу бешеных темпов развития и потенциальных экзистенциальных рисков для человечества.
На другой стороне спектра находятся сторонники эффективного ускорения (e/acc), которые утверждают, что ИИ не убьет нас всех и нам следует двигаться быстрее.
По крайней мере половина нынешних членов совета директоров OpenAI, похоже, полностью на стороне EA, и их страхи перед ИИ, возможно, стоят за этим. последние события в компании.
Хелен Тонер возглавляла организацию Effective Altruism Melbourne, а Таша Макколи входит в совет директоров Effective Ventures, которая управляет Центром эффективного альтруизма.
Введите Эммета Шира
В недавнем подкасте Эммет Шир, третий генеральный директор OpenAI за почти столько же дней, выразил поддержку мнению пророков гибели ИИ от EA.
Эммет Шир, новый генеральный директор OpenAI, в недавнем подкасте.pic.twitter.com/6LGEOinn7r
- Роуэн Чунг (@rowancheung) 20 ноября 2023 года
Шир также является поклонником исследователя ИИ Элиэзера Юдковского, который написал фанфик по Гарри Поттеру, пропагандирующий рациональное и научное мышление. Книга "Гарри Поттер и методы рациональности" (HPMOR) популярна в сообществе EA и используется при вербовке.
В главе 104 романа объемом 660 000 слов Юдовский пишет о том, как Искатель по имени Эммет Шир упал с метлы во время матча по квиддичу.
Если Шир разделяет более экстремальные взгляды Юдовского на безопасность ИИ, то можно ожидать, что в OpenAI еще больше нажмут на тормоза.
Ранее в этом году такие технологические лидеры, как Элон Маск и Эмад Мостак, присоединились к тысячам людей, подписавших открытое письмо с призывом сделать 6-месячную паузу в развитии ИИ. Юдовский отказался подписать это письмо, заявив, что оно "преуменьшает серьезность ситуации и просит слишком мало для ее решения".
В письме Опубликовано в журнале Time Юдовский считает, что развитие ИИ должно быть полностью остановлено, иначе "буквально все на Земле умрут".
В своем письме Юдовский недвусмысленно высказал свои взгляды: "Если кто-то создаст слишком мощный ИИ, то при нынешних условиях я ожидаю, что вскоре после этого погибнет каждый представитель человеческого рода и вся биологическая жизнь на Земле".
Мы знаем, что Шеар согласен с некоторыми из этих настроений. В приведенном выше ролике Шир говорит: "Я знаю, что Элиэзер считает, будто мы все обречены. Я покупаю его аргумент об обреченности. Я покупаю цепочку и логику".
Спасет ли EA нас и погубит ли OpenAI?
Большинство людей, вероятно, впервые услышали об эффективном альтруизме, когда на сцену вышел опальный основатель FTX Сэм Бэнкман Фрид. Он утверждал, что за принципами ЭА стоит его желание заработать много денег, чтобы сделать много добра.
Его пример показывает, что люди, у которых есть сильное желание изменить жизнь к лучшему, не застрахованы от принятия очень глупых решений.
Если совет OpenAI продолжит отдавать предпочтение принципам EA, то трудно представить, как Сэм Альтман сможет заниматься AGI и получать прибыль, если и когда его назначат вновь.
Если совет будет придерживаться умеренных взглядов и прислушиваться к сторонникам e/acc, таким как ученый-компьютерщик Ян ЛеКунТогда OpenAI все еще может быть жизнеспособным проектом.
Марк Цукерберг знаменито призывал своих инженеров "Двигаться быстро и ломать вещи". Возможно, Альтман разделяет эту точку зрения на развитие ИИ, но нынешнее руководство OpenAI явно не разделяет.
