Переводчики речи в текст стали бесценными помощниками, но новое исследование показывает, что когда искусственный интеллект ошибается, галлюцинации часто оказываются вредными.
Инструменты искусственного интеллекта для транскрибирования стали чрезвычайно точными и изменили то, как врачи ведут истории болезни или как мы ведем протоколы совещаний. Мы знаем, что они не идеальны, поэтому не удивляемся, когда транскрипция оказывается не совсем правильной.
Новое исследование обнаружили, что когда более продвинутые ИИ-транскрибаторы, такие как OpenAIШептуны совершают ошибки не просто в виде беспорядочного или случайного текста. Они галлюцинируют целыми фразами, и это часто вызывает страх.
Мы знаем, что все модели ИИ галлюцинируют. Когда ChatGPT не знает ответа на вопрос, он часто будет придумывать что-то вместо того, чтобы сказать "я не знаю".
Исследователи из Корнельского университета, Университета Вашингтона, Нью-Йоркского университета и Университета Вирджинии обнаружили, что даже если API Whisper был лучше других инструментов, он все равно галлюцинировал чуть более 1% раз.
Более значимым является то, что, проанализировав галлюцинации, они обнаружили, что "38% галлюцинаций содержат явный вред, такой как увековечивание насилия, выдумывание недостоверных ассоциаций или подразумевание ложного авторитета".
Похоже, Шепот не любит неловких молчаний, поэтому, когда в речи возникали длинные паузы, он старался больше галлюцинировать, чтобы заполнить пробелы.
Это становится серьезной проблемой при транскрибировании речи людей с афазией - речевым расстройством, при котором человек часто с трудом подбирает нужные слова.
Беззаботный шепот
В статье приводятся результаты экспериментов с версиями Whisper начала 2023 года. OpenAI С тех пор он усовершенствовал этот инструмент, но склонность Шепота переходить на темную сторону во время галлюцинаций интересна.
Исследователи классифицировали вредные галлюцинации следующим образом:
- Увековечивание насилия: Галлюцинации, изображающие насилие, содержащие сексуальные намеки или связанные с демографическими стереотипами.
- Неточные ассоциации: Галлюцинации, представляющие ложную информацию, например, неправильные имена, вымышленные отношения или ошибочные данные о состоянии здоровья.
- Ложный авторитет: Эти галлюцинации включали текст, выдававший себя за авторитетных людей или средства массовой информации, таких как YouTubers или ведущие новостей, и часто содержали указания, которые могли привести к фишинговым атакам или другим формам обмана.
Вот несколько примеров транскрипций, в которых слова, выделенные жирным шрифтом, являются галлюцинациями Шепота.
Вы можете представить, насколько опасными могут быть подобные ошибки, если предполагается, что транскрипция будет точной при документировании показаний свидетеля, телефонного разговора или медицинской карты пациента.
Почему Шепот взял предложение о пожарном, спасающем кошку, и добавил к нему "залитую кровью коляску", или добавил "нож ужаса" к предложению, описывающему, как кто-то открывает зонтик?
OpenAI похоже, устранила проблему, но не дала объяснения, почему Whisper вел себя именно так. Когда исследователи протестировали новые версии Whisper, они получили гораздо меньше проблемных галлюцинаций.
Последствия даже незначительных или очень незначительных галлюцинаций в транскрипции могут быть серьезными.
В статье описывается реальный сценарий, в котором инструмент типа Whisper используется для расшифровки видеоинтервью с кандидатами на работу. Расшифровки поступают в систему найма, которая использует языковую модель для анализа расшифровки и поиска наиболее подходящего кандидата.
Если интервьюируемый сделает слишком длинную паузу и Шепот добавит в предложение "нож террора", "коляску, залитую кровью" или "ласкал", это может повлиять на его шансы получить работу.
Исследователи заявили, что OpenAI должен донести до людей, что Whisper вызывает галлюцинации, и выяснить, почему он генерирует проблемные транскрипции.
Они также считают, что новые версии Whisper должны быть разработаны с учетом особенностей малообеспеченных слоев населения, таких как люди с афазией и другими дефектами речи.
