Рискован ли искусственный интеллект или нет? Эти споры не утихают без окончательных ответов.
Ученые Университета Бата и Технического университета Дармштадта запустили исследование по оценке рисков ИИ в контексте современных языковых моделей, таких как ChatGPT.
Сайт выводыОпубликованные в рамках 62-й ежегодной встречи Ассоциации вычислительной лингвистики (ACL 2024), они опровергают мнения о том, что ИИ, особенно большие языковые модели (LLM), такие как ChatGPT, могут развиваться вне человеческого контроля и представлять экзистенциальную угрозу для человечества.
Это противоречит опасениям, высказанным некоторыми ведущими мировыми исследователями ИИ, включая Джеффри Хинтона и Йошуа Бенджио, двух "крестных отцов ИИ", которые высказывали опасения по поводу потенциальных опасностей, связанных с развитым ИИ.
Янн ЛеКун, третий "крестный отец ИИ" и главный научный сотрудник Meta по вопросам ИИ, наряду с доктором Гэри Маркусом и другими учеными, утверждает обратное - что риски, связанные с ИИ, являются просто раздутый.
Такое расхождение во мнениях среди наиболее влиятельных фигур в этой области привело к тому, что вызвал ожесточенные дебаты о характере и серьезности рисков, создаваемых передовыми системами искусственного интеллекта.
В новом исследовании изучаются "эмерджентные способности" LLM, под которыми понимается способность модели выполнять задачи, для которых она не была специально обучена.
Риски ИИ многогранны, но, по крайней мере, некоторые из них связаны с разработкой моделей, которые могут нанести вред человеку, например, отключить компьютерные системы или слить данные.
Проверяемый вопрос заключается в том, может ли LLM спонтанно развить эти навыки без обучения или контроля.
Чтобы выяснить это, команда исследователей провела серию экспериментов:
- Они изучили механизмы, лежащие в основе "внутриконтекстного обучения" (ICL) у LLM, которое позволяет моделям генерировать ответы на основе примеров, предоставленных во время взаимодействия. Как говорится в исследовании, "способность следовать инструкциям не означает наличие способностей к рассуждению, и, что более важно, она не предполагает возможности наличия скрытых, потенциально опасных способностей".
- Они оценили истинные возможности и ограничения LLM, оценив их работу над рядом задач, включая те, которые требуют сложных рассуждений и навыков решения проблем. Исследователи утверждают, что LLM не могут самостоятельно развивать новые навыки
- Они проанализировали связь между размером модели, обучающими данными и возникающими способностями, чтобы определить, приводит ли увеличение сложности модели к развитию у ИИ опасных навыков. В исследовании говорится: "Эти наблюдения означают, что наши выводы справедливы для любой модели, проявляющей склонность к галлюцинациям или требующей оперативного обучения, включая модели повышенной сложности, независимо от масштаба или количества модальностей, такие как GPT-4".
Исследователи пришли к выводу, что "преобладающее мнение о том, что этот тип ИИ представляет угрозу для человечества, препятствует широкому внедрению и развитию этих технологий, а также отвлекает внимание от реальных проблем, требующих нашего внимания".
Это полностью совпадает с мнением ЛеКуна и других специалистов, которые считают, что риски ИИ чрезмерно рекламируются.
Однако если оценка рисков, связанных с текущими моделями ИИ, безусловно, важна, то учет будущего - более сложная задача.
Каждое поколение моделей приносит новые возможности и, следовательно, новые риски, о чем свидетельствуют некоторые странные поведения, задокументированные в Контрольная карта GPT-4o.
В одном из упражнений "красной команды" (предназначенном для выявления непредсказуемого поведения ИИ) было совершенно неожиданно замечено, что голосовая функция GPT-4o неожиданно клонирует голос пользователя и начинает говорить с ним своим голосом.
Отслеживать риски ИИ по мере их появления очень важно, поскольку цели постоянно меняются.
В исследовании подчеркивается, что некоторые неэкзистенциальные риски ИИ уже стучатся в дверь: "Поэтому будущие исследования должны быть направлены на другие риски, связанные с моделями, например, их потенциал использования для создания фальшивых новостей".
Как признают авторы, то, что ИИ сейчас не представляет масштабных угроз, не означает, что безопасность - это не проблема.
