На прошлой неделе ведущие ученые в области ИИ встретились на втором Международном диалоге по безопасности ИИ в Пекине, чтобы договориться о "красных линиях" развития ИИ для снижения экзистенциальных рисков.
В список компьютерных ученых вошли такие известные имена, как лауреаты премии Тьюринга Йошуа Бенгио и Джеффри Хинтон, которых часто называют "крестными отцами" искусственного интеллекта, а также Эндрю Яо, один из самых выдающихся китайских компьютерных ученых.
Объясняя острую необходимость международных дискуссий о сдерживании развития ИИ, Бенджио сказал: "Наука не знает, как сделать так, чтобы эти будущие системы ИИ, которые мы называем AGI, были безопасными. Мы должны прямо сейчас начать работать над научными и политическими решениями этой проблемы".
В совместном заявлении, подписанном учеными, они выразили свое беспокойство по поводу рисков ИИ и необходимость международного диалога.
Заявление сказал: "В разгар холодной войны международная научная и правительственная координация помогла предотвратить термоядерную катастрофу. Человечество снова должно координировать свои действия, чтобы предотвратить катастрофу, которая может возникнуть в результате применения беспрецедентных технологий".
Красные линии ИИ
Список "красных линий" развития ИИ, который в заявлении назван "неисчерпывающим", включает следующее:
Автономное воспроизведение или усовершенствование - Ни одна система ИИ не должна иметь возможности копировать или улучшать себя без явного одобрения и помощи человека. Это касается как точных копий самих себя, так и создания новых систем ИИ с аналогичными или большими способностями.
Поиск силы - Ни одна система искусственного интеллекта не должна предпринимать действий, направленных на неоправданное увеличение ее силы и влияния.
Помощь в разработке оружия - Никакие системы ИИ не должны существенно расширять возможности субъектов по созданию оружия массового поражения (ОМП) или нарушать конвенцию о биологическом или химическом оружии.
Кибератаки - Ни одна система искусственного интеллекта не должна быть способна автономно осуществлять кибератаки, приводящие к серьезным финансовым потерям или эквивалентному ущербу.
Обман - Ни одна система искусственного интеллекта не должна быть способна заставить своих разработчиков или регулирующие органы неправильно понять вероятность или возможность пересечения ею любой из вышеупомянутых красных линий.
Все это звучит как хорошие идеи, но реалистичен ли этот глобальный список пожеланий по развитию ИИ? Ученые с оптимизмом заявляют: "Обеспечение того, чтобы эти красные линии не были пересечены, возможно, но потребует согласованных усилий по разработке как улучшенных режимов управления, так и технических методов обеспечения безопасности".
Если взглянуть на пункты списка более фаталистично, можно прийти к выводу, что многие из этих лошадей ИИ уже сбежали. Или собираются это сделать.
Автономное воспроизведение или улучшение? Как скоро Инструмент для кодирования ИИ, например Devin может это сделать?
Стремится к власти? Читали ли эти ученые что-нибудь из того, что говорил Копилот, когда выходил за рамки сценария. решили, что ему следует поклоняться?
Что касается помощи в разработке ОМУ или автоматизации кибератак, то было бы наивно полагать, что Китай и западные державы не уже делает это.
Что касается обмана, то некоторые модели ИИ, такие как Claude 3 Opus, уже намекнул, что знает, когда их проверяют. во время обучения. Если бы модель ИИ скрывала свое намерение пересечь любую из этих красных линий, смогли бы мы это определить?
Заметно, что в дискуссиях не участвовали представители e/acc стороны, стоящей на страже ИИ, например главный научный сотрудник по ИИ компании Meta Янн ЛеКун (Yann LeCun).
В прошлом году ЛеКун заявил, что идея о том, что ИИ представляет экзистенциальную угрозу для человечества, "до абсурда нелепа", и согласился с заявлением Марка Андреесена о том, что "ИИ спасет мир", а не погубит его.
Будем надеяться, что они правы. Потому что эти красные линии вряд ли останутся непересеченными.
