Компания OpenAI объявила о планах по расширению исследований в области "сверхразума" - формы ИИ с возможностями, превосходящими человеческий интеллект.
В то время как Сверхразум ИИ может показаться далекой перспективой, но OpenAI считает, что ее разработка может произойти уже через несколько лет.
OpenAI утверждает: "В настоящее время у нас нет решения для управления или контроля потенциально сверхинтеллектуального ИИ и предотвращения его выхода из-под контроля". Это довольно зловещее заявление от ведущей мировой компании по разработке ИИ.
Чтобы снизить риски, связанные со сверхразумным ИИ, OpenAI планирует внедрить новые структуры управления и выделить ресурсы на выравнивание сверхразума, целью которого является приведение высокоинтеллектуальных ИИ в соответствие с человеческими принципами и ценностями. Срок выполнения этой задачи - 4 года.
В блогеOpenAI определил три основные цели - разработка масштабируемых методов обучения, проверка полученной модели и тщательное тестирование процесса выравнивания. Это включает автоматизацию процесса обнаружения проблемного поведения в больших моделях. Для этого OpenAI предлагает разработать специализированного "исследователя автоматического выравнивания" - ИИ, которому поручено выравнивать ИИ.
OpenAI также собирает команду высококлассных (человеческих) исследователей и инженеров в области машинного обучения для решения этой сложнейшей задачи. В качестве помощи компания выделит 20% своих приобретенных вычислительных ресурсов в течение следующих 4 лет на решение задачи выравнивания сверхразума.
Этим займется недавно сформированная "команда супервыравнивания", возглавляемая соучредителем и главным научным сотрудником OpenAI Ильей Суцкевером и руководителем отдела выравнивания Яном Лейке.
Кроме того, OpenAI планирует поделиться результатами этой работы с другими. Они также отметили, что их текущая работа по повышению безопасности существующих моделей, таких как ChatGPT, и снижению других рисков ИИ, таких как неправильное использование, экономические нарушения и дезинформация, будет продолжена.
В блоге также содержится просьба проявить интерес к их позициям для инженер-исследователь, научный сотрудник, и менеджер по исследованиям должности. Самая низкая заявленная зарплата составляет $245 000 в год, варьируясь до $450 000.
Методы OpenAI для выравнивания ИИ
В предыдущей записи блога В книге "Сверхразум" OpenAI описывает 2 широких метода выравнивания:
1: Обучение ИИ с помощью обратной связи с человеком: Этот подход заключается в совершенствовании ИИ на основе реакций и инструкций человека. Например, ИИ обучают давать ответы, соответствующие как прямым командам, так и более тонким намерениям. ИИ учится на основе явных инструкций и более неявных сигналов, таких как обеспечение правдивых и безопасных ответов. Однако подход, ориентированный на человека, может не справиться со сложными возможностями и отнимает много сил и времени.
2: Обучающие модели для помощи в оценке человеком: Второй подход признает, что по мере того, как ИИ становится все более сложным, появляются задачи, которые он может выполнять и которые человеку трудно оценить. Таким образом, в этом подходе ИИ используется для выполнения задач и оценки их качества. Например, ИИ можно использовать для проверки точности информации, обобщения объемных документов для облегчения оценки человеком или даже для критики собственной работы.
Конечной целью является разработка систем ИИ, которые смогут эффективно помогать человеку оценивать сложные задачи, поскольку интеллект ИИ выходит за рамки человеческого познания.
В OpenAI говорят, что считают выравнивание сверхразума "достижимым". Хотя перспектива создания сверхразумного ИИ кажется далекой, было бы неразумно полагать, что OpenAI просто оптимистична.
