OpenAI собрала команду экспертов под названием "Готовность", цель которой - смягчить "катастрофические" риски, связанные с ИИ.
Это произошло вскоре после того, как OpenAI всесторонне провела ребрендинг и стала компанией, ориентированной на AGI. Новая команда будет заниматься оценкой существующих и будущих моделей ИИ на предмет рисков.
Риски, указанные OpenAI Индивидуальное убеждение (настройка сообщений именно на то, что хочет услышать получатель), угрозы кибербезопасности, автономное воспроизведение, адаптация (ИИ самостоятельно изменяет себя) и даже экзистенциальные угрозы, такие как химические, биологические и ядерные атаки.
Эксперты во многом расходятся во мнении, являются ли экзистенциальные риски ИИ надуманными или практически реальными, хотя большинство сходится во мнении, что существующие проблемы, такие как глубокие подделки ИИ, уже сейчас вызывают огромные разрушения.
Заявление OpenAI по этому поводу однозначно: "Мы считаем, что передовые модели ИИ, которые будут превосходить возможности самых продвинутых существующих моделей, способны принести пользу всему человечеству. Однако они также несут в себе все более серьезные риски".
Искусственный интеллект общего назначения - AGI - определяет модели ИИ, которые равны и превосходят человеческое познание в различных модальностях.
Генеральный директор OpenAI Сэм Альтман заявил о своем намерении создавать такие модели ясноНо концепция AGI в реальном выражении остается весьма спекулятивной.
Альтман недавно признался в подкасте Джо Роган. что ИИ развивался не так, как он ожидал. AGI может возникнуть не спонтанно, как "сингулярность", а постепенно, в течение ближайшего десятилетия или около того.
OpenAI о готовности
В недавняя запись в блогеКоманды OpenAI Safety & Alignment и Community подчеркнули постоянную приверженность организации к устранению всего спектра рисков безопасности, связанных с искусственным интеллектом.
Этот шаг был предпринят после того, как OpenAI, наряду с другими известными лабораториями искусственного интеллекта, добровольно совершивший в рамках сотрудничества с Белым домом, чтобы поддержать безопасность, надежность и доверие в разработке ИИ.
Команду по обеспечению готовности возглавляет исследователь OpenAI Александр Мадри. Эта команда будет играть решающую роль в оценке возможностей, проведении экспертизы и выполнении внутренней "красной команды" для передовых моделей, начиная от разработок ближайшего будущего и заканчивая моделями AGI.
Кроме того, команда разработает и будет поддерживать "Политику развития с учетом рисков" (RDP), в которой будет изложен подход к оценке и мониторингу возможностей пограничных моделей, внедрению защитных мер и созданию структур управления для отчетности и надзора.
OpenAI также запускает конкурс "AI Preparedness Challenge", чтобы выявить области, где ИИ используется не по назначению.
Задача - наградить лучшие работы кредитами API на сумму $25 000, опубликовать новые идеи и работы и, возможно, набрать кандидатов в команду готовности.
