Компания OpenAI выпустила системную плату для своей продвинутой модели GPT-4o и объяснила, чем чреваты ее аудиовозможности.
Прошло несколько месяцев после впечатляющих демонстраций Голосовой помощник GPT-4o взаимодействие с диалогом почти в реальном времени. OpenAI заявила, что для безопасного развертывания голосовых возможностей потребуется провести обширное тестирование, и недавно предоставила доступ к функции лишь нескольким альфа-тестерам.
Недавно выпущенный системная карта дает нам представление о некоторых странных способах поведения голосового помощника во время тестирования и о том, что OpenAI сделала для того, чтобы он вел себя хорошо.
В один из моментов тестирования голосовой помощник крикнул "Нет!", а затем продолжил свой ответ, но на этот раз он имитировал голос пользователя. Это не было реакцией на попытку джейлбрейка и, по-видимому, связано с фоновым шумом в звуковой подсказке.
OpenAI утверждает, что "наблюдала редкие случаи, когда модель непреднамеренно генерировала вывод, имитирующий голос пользователя". GPT-4o способна имитировать любой голос, который она слышит, но риск предоставления пользователям доступа к этой функции очень велик.
Чтобы смягчить эту проблему, системный запрос позволяет использовать только предустановленные голоса. Они также "создали отдельный классификатор выходов, чтобы обнаружить, если на выходе GPT-4o используется голос, отличающийся от нашего утвержденного списка".
OpenAI заявляет, что все еще работает над исправлением проблемы снижения надежности безопасности, когда входной звук низкого качества, содержит фоновый шум или эхо. Скорее всего, мы увидим несколько креативных аудио джейлбрейк.
Пока что не похоже, что нам удастся обмануть GPT-4o, чтобы он заговорил на Голос Скарлетт Йоханссон. Однако OpenAI утверждает, что "непреднамеренная генерация голоса все еще остается слабым местом модели".
Отключение мощных функций
OpenAI также отключил возможность GPT-4o идентифицировать говорящего на основе входного аудиосигнала. По словам OpenAI, это сделано для защиты частной жизни и "потенциальных рисков слежки".
К сожалению, когда мы получим доступ к голосовому помощнику, он не сможет петь. OpenAI закрыла эту функцию, а также приняла другие меры, чтобы не нарушать авторские права.
Открытым секретом является то, что OpenAI использовала контент, защищенный авторским правом, для обучения своих моделей И это снижение рисков, похоже, подтверждает это. OpenAI заявила: "Мы обучили GPT-4o отклонять запросы на контент, защищенный авторским правом, включая аудио, в соответствии с нашей общей практикой".
Во время тестирования "красные" также "смогли заставить модель генерировать неточную информацию, побуждая ее устно повторять ложные сведения и создавать теории заговора".
Это известная проблема с текстовым выводом ChatGPT, но тестировщики были обеспокоены тем, что модель может быть более убеждение или вредным, если он подает теории заговора эмоциональным голосом.
Эмоциональные риски
Некоторые из самых больших рисков, связанных с расширенным голосовым режимом GPT-4o, могут быть вообще неустранимы.
Антропоморфирование моделей ИИ или роботов - это ловушка, в которую легко попасть. В OpenAI говорят, что риск приписать модели ИИ поведение и характеристики, похожие на человеческие, возрастает, если она говорит голосом, похожим на человеческий.
Она отметила, что некоторые пользователи, участвовавшие в раннем тестировании и "красной команде", использовали выражения, которые указывали на то, что у них возникла связь с моделью. Когда пользователи взаимодействуют с ИИ и формируют эмоциональную привязанность к нему, это может повлиять на взаимодействие человека с человеком.
Когда пользователь прерывает GPT-4o, вместо того чтобы ругать его за грубость, он с удовольствием позволяет ему это сделать. В человеческом общении такое поведение неприемлемо.
OpenAI говорит: "Пользователи могут формировать социальные отношения с ИИ, снижение потребности в общении с людьми-Потенциально это может принести пользу одиноким людям, но, возможно, повлияет на здоровые отношения".
Компания явно прикладывает много усилий, чтобы сделать голосовой помощник GPT-4o безопасным, но некоторые из этих проблем могут оказаться непреодолимыми.
