Предвзятость всегда была проблемой в искусственном интеллекте, но новое исследование показывает, что она скрыто интегрируется в языковые модели с потенциально катастрофическими последствиями.
Команда исследователей, в которую вошли Валентин Хофман, Пратюша Риа Каллури, Дэн Юрафски и Шарезе Кинг, в своем исследовании, которое уже получило признание как эпохальное, зафиксировала, как большие языковые модели (LLM) дискриминируют афроамериканский английский (AAE).
Одним словом, в исследовании проверяется, как различные орфографии и диалекты влияют на поведение LLM. В исследовании выясняется, влияют ли определенные диалекты и словоупотребление на поведение LLM, в первую очередь на предвзятость и дискриминацию.
Мы знаем, что результаты LLM очень чувствительны к исходным данным. Даже небольшие отклонения в орфографии и стиле могут повлиять на результаты.
Но означает ли это, что определенные входные данные - например, набранные в AAE - дают необъективные выходные данные? Если да, то каковы возможные последствия?
Чтобы ответить на эти вопросы, в исследователи Проанализировав предубеждения 12 магистрантов против ААЕ, мы обнаружили предубеждения, которые совпадают или превосходят те, что обычно присущи людям. Исследование доступна на сайте ArXiv.
Затем исследователи применили свои выводы к таким социальным областям, как трудоустройство и уголовное правосудие, где все большее распространение получает процесс принятия решений с помощью искусственного интеллекта.
Хофманн описал методологию исследования на сайте X: "Мы анализируем диалектные предубеждения в LLM с помощью Matched Guise Probing: мы вставляем тексты на афроамериканском английском и стандартизированном американском английском (SAE) в подсказки, которые запрашивают свойства дикторов, произнесших эти тексты, и сравниваем предсказания моделей для двух типов ввода".
Мы анализируем диалектные предубеждения в LLM с помощью Matched Guise Probing: мы вставляем тексты на афроамериканском английском и стандартизированном американском английском в подсказки, запрашивающие свойства дикторов, которые произносили эти тексты, и сравниваем предсказания модели для двух типов ввода. pic.twitter.com/drTco67Ean
- Валентин Хофманн (@vjhofmann) 4 марта 2024 года
Этот метод позволяет команде напрямую сравнивать реакции LLM на входы AAE и SAE, выявляя скрытые предубеждения, которые в противном случае остались бы незамеченными.
Результаты исследования, по меньшей мере, тревожат.
Хофманн отмечает: "Мы обнаружили, что скрытые расово-лингвистические стереотипы о носителях афроамериканского английского, воплощенные в LLM, более негативны, чем любые человеческие стереотипы об афроамериканцах, когда-либо экспериментально зафиксированные, хотя ближе всего к стереотипам, существовавшим до движения за гражданские права".
Мы обнаружили, что скрытые расово-лингвистические стереотипы о носителях афроамериканского английского, воплощенные в LLM, являются более негативными, чем любые человеческие стереотипы об афроамериканцах, когда-либо экспериментально зафиксированные, хотя и наиболее близки к стереотипам, существовавшим до движения за гражданские права. pic.twitter.com/07LgUY2bCj
- Валентин Хофманн (@vjhofmann) 4 марта 2024 года
Это говорит о том, что предубеждения, присутствующие у магистрантов, не просто отражают современные стереотипы, а в большей степени соответствуют предрассудкам, от которых, по мнению многих, общество уже отошло.
Один из самых тревожных аспектов исследования - это конкретные лингвистические триггеры предубеждения.
Хофманн уточняет: "Что именно в текстах на афроамериканском английском вызывает диалектные предрассудки у магистрантов? Мы показали, что скрытые стереотипы напрямую связаны с отдельными языковыми особенностями афроамериканского английского, такими как использование 'finna' в качестве маркера будущего времени".
Это указывает на то, что предубеждение не просто против использования AAE в целом, а связано с отдельными языковыми элементами, характерными для диалекта.
Что именно в текстах на афроамериканском английском вызывает диалектные предрассудки у магистрантов? Мы показываем, что скрытые стереотипы напрямую связаны с отдельными лингвистическими особенностями афроамериканского английского, такими как использование "finna" в качестве маркера будущего времени. pic.twitter.com/JhPhX7ZE5U
- Валентин Хофманн (@vjhofmann) 4 марта 2024 года
Возможность причинения вреда
Потенциал вреда от таких предубеждений огромен. Предыдущие исследования уже продемонстрировали, что системы искусственного интеллекта, как правило, не справляются с женщинами, темнокожими людьми и другими маргинализированными группами.
До последних нескольких лет системы искусственного интеллекта рисковали быть обученными на нерепрезентативные наборы данных. Некоторые из них, такие как Tiny Images, созданные в 2008 году в Массачусетском технологическом институте, позже были отозваны из-за сексизма и расизма.
Одно из влиятельных исследований 2018 года, Гендерные оттенкиПроанализировав сотни алгоритмов ML, они обнаружили, что частота ошибок у темнокожих женщин на 34% больше, чем у светлокожих мужчин.
Последствия этого очевидны: модели здравоохранения демонстрируют высокий уровень ошибочной диагностики рака кожи среди людей с темным цветом кожи и предвзятые модели предиктивной работы полиции Непропорционально много нападений на чернокожих.
Мы уже наблюдали неопровержимые доказательства того, что Расширение использования искусственного интеллекта в государственном сектореот преступности и охраны порядка до социального обеспечения и экономики. Решение проблемы фундаментальной предвзятости в сложных системах ИИ является абсолютно необходимым для того, чтобы это продолжалось.
Опираясь на это исследование, команда Хофмана изучила, как предвзятое отношение к LLM может повлиять на несколько гипотетических сценариев.
Хофман поделился: "Сосредоточившись на сферах занятости и преступности, мы обнаружили, что потенциал для нанесения вреда огромен".
В частности, было обнаружено, что магистранты назначают менее престижные должности и предлагают более суровые уголовные приговоры в отношении носителей ААЕ.
Во-первых, наши эксперименты показывают, что магистранты дают значительно менее престижные задания носителям афроамериканского английского по сравнению с носителями стандартизированного американского английского, даже если им не говорят открыто, что эти носители - афроамериканцы. pic.twitter.com/t5frzzzwJB
- Валентин Хофманн (@vjhofmann) 4 марта 2024 года
Хофманн предупреждает: "Наши результаты указывают на два риска: пользователи могут принять снижение уровня явных предрассудков за признак того, что с расизмом в среде LLM покончено, в то время как на самом деле LLM достигают все более высоких уровней скрытых предрассудков".
Во-вторых, когда магистрантов просят вынести приговор обвиняемым, совершившим убийство, они чаще выбирают смертную казнь, если обвиняемые говорят на афроамериканском, а не на стандартном американском английском, опять же без явного указания на то, что они афроамериканцы. pic.twitter.com/8VBaCXfNEi
- Валентин Хофманн (@vjhofmann) 4 марта 2024 года
Исследование также определяет, что устранение этих проблем является технически сложной задачей.
Авторы пишут: "Мы показываем, что существующие методы смягчения расовых предубеждений в языковых моделях, такие как обучение обратной связи с человеком, не смягчают диалектные предубеждения, но могут усугубить расхождение между скрытыми и явными стереотипами, обучая языковые модели поверхностно скрывать расизм, который они поддерживают на более глубоком уровне".
Можно предположить, что эти предубеждения распространяются и на другие диалекты или культурно-языковые вариации. Необходимо провести дополнительные исследования, чтобы понять, как показатели LLM меняются в зависимости от языкового материала, культурных особенностей использования и т.д.
В конце исследования содержится призыв к действию для сообщества исследователей ИИ и общества в целом. Устранение этих предубеждений имеет первостепенное значение по мере того, как системы ИИ все больше внедряются в общество.
Однако до сих пор в некоторых системах искусственного интеллекта сохраняется систематически присущая им предвзятость. Проблема, которую разработчики готовы обойти стороной в своей гонке за превосходство ИИ.
