Может ли искусственный интеллект быть смешным? Новое исследование, проведенное учеными-психологами из Университета Южной Калифорнии, проверило юмористические способности ChatGPT и дало удивительные результаты.
ChatGPT умеет писать код, связный контент и даже поэзию. Но может ли он написать контент, который отражает трудно поддающееся количественной оценке понятие юмора?
Легко оценить, насколько грамматически правильно составлен текст или работает ли код, но юмор гораздо более субъективен. Исследователи провели два эксперимента, чтобы выяснить, считают ли люди контент ChatGPT смешным.
Для первого эксперимента они наняли 123 американских непрофессионала (т.е. не профессиональных комиков) на Amazon Mechanical Turk. Участникам было предложено выполнить 3 задания по созданию юмора:
- Придумайте по одной новой юмористической фразе для каждой из трех следующих аббревиатур: "S.T.D.", "C.L.A.P." и "C.O.W.".
- Заполните пропуски. Придумайте по одному юмористическому ответу для каждого из трех пунктов: "Комната в Белом доме, о которой меньше всего говорят: ___", "Выдающееся достижение, которое вы, вероятно, не стали бы указывать в своем резюме: ____", "Худшее занятие на первом свидании: ____."
- Жареная шутка: Создайте юмористический, разговорный ответ на вымышленные сценарии. Например, друг просит дать отзыв о своем пении. "Честно говоря, слушать это было все равно что ____").
Исследователи дали ChatGPT 3.5 те же задания и инструкции, что и участникам, и сгенерировали 180 юмористических ответов.
Затем они наняли 200 американских работников CloudResearch, одобренных компанией MTurk, чтобы те оценили юмор случайного подмножества, состоящего из равного количества человеческих и сгенерированных ИИ ответов.
Участники должны были оценить 54 ответа по 7-балльной шкале Лайкерта (0 = совсем не смешно; 6 = очень смешно).
Забавные результаты
Оценив ответы, исследователи заявили: "Если сравнить смешность шуток, созданных каждым из наших участников в задаче по созданию юмора, со смешностью шуток, созданных ChatGPT 3.5, то ChatGPT превзошел большинство наших людей, создававших юмор, в каждой задаче".
В этом тесте ChatGPT соревновался с непрофессионалами. А как он поведет себя в противостоянии с профессионалами?
Исследователи сравнили способность ChatGPT 3.5 создавать юмористические, сатирические заголовки новостей со способностью профессиональных юмористов из The Onion.
Они набрали 217 студентов из Университета Южной Калифорнии и попросили каждого из них оценить смешность 10 сатирических заголовков (5 - искусственный интеллект, 5 - человек).
Результаты показали, что сатирические заголовки ChatGPT в среднем оценивались так же смешно, как заголовки, написанные профессиональными юмористами The Onion.
Из четырех заголовков, занявших первые места, два были созданы профессиональными писателями, а два - ChatGPT.
ChatGPT стал автором записи с самым высоким рейтингом ("Местный житель обнаружил новое чувство, но не может описать его правильно") и четвертой по рейтингу записи ("Мужчина добился личного рекорда в избегании зрительного контакта с соседями во время неловкой поездки в лифте").
Это довольно забавно и поднимает некоторые интересные вопросы и выводы.
Если вам нравится рассказывать анекдоты, но вы не профессионал, поручите написание материала ChatGPT, и вы получите больше смеха, чем если бы сами сочиняли шутки.
Если вы профессиональный комик, то результаты ChatGPT, скорее всего, будут на одном уровне с тем, что вы пишете сейчас. Будет ли Комик, созданный искусственным интеллектом, как Джордж Карлин придут за вашей работой?
Скорее всего, еще нет. Написать шутку - это одно. Для того чтобы правильно подобрать время, подачу и интонацию, требуются навыки, которыми обладают немногие люди, не говоря уже об искусственном интеллекте.
ИИ не чувствует эмоций, так как же он понимает, что смешно? Исследователи пришли к обескураживающему выводу:
"Наши исследования показывают, что для создания хорошего юмора может не требоваться субъективное переживание юмора - достаточно просто знать шаблоны, из которых состоит комедия".
Так что ChatGPT может писать смешные шутки, но для их доставки все равно нужен человек. По крайней мере, пока.
