Некоторые из самых известных представителей Больших Технологий объединились в Коалицию за безопасный ИИ (CoSAI).
Глобального стандарта для безопасных методов разработки ИИ пока не существует, а существующие меры безопасности ИИ разрозненны и часто принимаются компаниями, создающими модели ИИ, самостоятельно.
CoSAI - это инициатива с открытым исходным кодом, реализуемая глобальным органом по стандартизации OASIS, целью которой является стандартизация и обмен передовым опытом, связанным с безопасной разработкой и внедрением искусственного интеллекта.
В число компаний, поддерживающих инициативу, входят Google, IBM, Intel, Microsoft, NVIDIA и PayPal. Среди спонсоров-учредителей также Amazon, Anthropic, Cisco, Chainguard, Cohere, GenLab, OpenAI и Wiz.
Заметно отсутствие Apple и Meta.
Цель CoSAI - разработка и распространение комплексных мер безопасности, направленных на устранение рисков, включая:
- кража модели
- отравление обучающих данных
- Ввод вредоносных данных с помощью оперативной инъекции
- масштабная профилактика злоупотреблений
- атаки на вывод о принадлежности
- атаки с инверсией модели или атаки с инверсией градиента для получения конфиденциальной информации
- извлечение конфиденциальной информации из обучающих данных
Устав КоСАИ В проекте говорится, что "не предусматривается охват следующих тем: дезинформация, галлюцинации, ненавистный или оскорбительный контент, предвзятость, создание вредоносных программ, создание фишингового контента и другие темы, относящиеся к области безопасности контента".
У Google уже есть Google Secure AI Framework (SAIF), а у OpenAI - OpenAI. проект выравнивания. Однако до появления CoSAI не было форума, который объединил бы лучшие практики безопасности ИИ, разработанные отраслевыми игроками самостоятельно.
Мы видели небольшие стартапы, такие как Mistral Они пережили метеоритный взлет благодаря созданным ими моделям ИИ, но многие из этих небольших компаний не имеют ресурсов для финансирования команд по безопасности ИИ.
CoSAI станет ценным бесплатным источником передового опыта в области безопасности ИИ для мелких и крупных игроков отрасли.
Хизер Адкинс, вице-президент и специалист по обеспечению устойчивости кибербезопасности компании Google, отметила: "Мы используем ИИ уже много лет и видим его потенциал для защитников, но также признаем его возможности для противников.
"CoSAI поможет большим и малым организациям безопасно и ответственно внедрять ИИ, используя его преимущества и снижая риски".
Ник Гамильтон, руководитель отдела управления, рисков и соответствия стандартам OpenAI, сказал: "Разработка и внедрение безопасных и надежных технологий искусственного интеллекта - главная задача OpenAI.
"Мы считаем, что разработка надежных стандартов и практик необходима для обеспечения безопасного и ответственного использования ИИ, и мы намерены сотрудничать в этой области.
"Участвуя в CoSAI, мы стремимся использовать свой опыт и ресурсы для создания безопасной экосистемы ИИ, которая принесет пользу всем".
Будем надеяться, что людям понравится Илья Суцкевер и другие, которые уехали OpenAI по соображениям безопасности добровольно вносят свой вклад в работу CoSAI.
