Новые исследования показывают, что ChatGPT может превзойти учеников в определенных предметных областях, обманывая учителей и ускользая от детекторов ИИ.
Исследование, проведенное под руководством Ясира Заки из Нью-Йоркского университета в Абу-Даби, показало, что ответы ChatGPT равны или превосходят качество ответов студентов в девяти из 32 предметов.
Примечательно, что чатбот набрал почти в два раза больше баллов, чем средний студент на курсе "Введение в государственную политику".
Однако в доспехах искусственного интеллекта были и изъяны: ChatGPT с трудом справлялся с заданиями, требующими "критического анализа". Не стоит забывать и о том, что в целом студенты-люди доминировали.
Несмотря на это, разрыв между работой, созданной ИИ и человеком, сокращается, что потенциально может иметь драматические последствия для сектора образования и систем человеческих знаний в целом
Интересно, что ChatGPT довольно плохо справлялся с заданиями, требующими навыков или знаний в области программирования и информатики, но отлично справлялся с социальными исследованиями, политикой и инженерным делом.
32 предмета охватывали такие дисциплины, как информатика, математика, социология, психология, политология и бизнес. Кроме того, в ходе исследования были опрошены студенты и преподаватели из пяти стран - Бразилии, Индии, Японии, Великобритании и США, чтобы оценить их точку зрения на использование технологии в образовании.
"Этим оценщикам не были известны ни источники этих ответов, ни цель оценивания", - говорит Заки.
"ChatGPT лучше справлялся с вопросами, требующими запоминания информации, но плохо справлялся с вопросами, требующими критического анализа", - говорит Заки.
Кроме того, исследователи обнаружили, что службы обнаружения ИИ плохо различают человеческие и сгенерированные ИИ ответы с коэффициентом успешности 95%.
Исследование настроений студентов и преподавателей в отношении ИИ в образовании выявило полярность в вопросе о том, является ли использование ИИ плагиатом или нет.
Томас Ланкастер из Имперского колледжа Лондона высказал свое мнение о последствиях исследования. По его словам, полученные результаты выявляют недостатки в нынешнем подходе к университетским оценкам. "Если [с помощью ChatGPT] можно получить более точные ответы, это говорит о том, что в дизайне оценки есть недостатки".
Основные выводы
В этом многогранном исследовании изучалась эффективность ChatGPT и собиралась дополнительная информация о качественных мнениях о технологии.
Вот основные выводы:
- Академическая успеваемость: Результаты ChatGPT были сопоставимы или превосходили результаты студентов университета по 9 из 32 курсов восьми дисциплин.
- Отсутствуют алгоритмы обнаружения: Существующие алгоритмы, включая GPTZero, предназначенные для обнаружения текста, сгенерированного ChatGPT, в значительной степени неэффективны. Эти алгоритмы не только неправильно классифицируют человеческие ответы как сгенерированные ИИ, но и не могут правильно идентифицировать контент, созданный ChatGPT, как таковой.
- Мнения студентов и преподавателей: Между студентами и преподавателями существует явное несоответствие этических последствий использования ChatGPT. Студенты в подавляющем большинстве случаев намерены использовать этот инструмент для работы в школе, в то время как преподаватели склонны рассматривать его использование как плагиат.
- Глобальные перспективы: Опрошенные студенты и преподаватели из пяти стран (Бразилии, Индии, Японии, Великобритании и США) высказали разные мнения об этичности использования ChatGPT. Например, если студенты в Индии считают его использование для выполнения домашних заданий неэтичным, то студенты в Бразилии считают его этичным. Тем не менее, 94% студентов в обеих странах намерены использовать ChatGPT в учебных целях.
Роль искусственного интеллекта в образовании Это превратилось в бурлящую дискуссию, в которой учащиеся, возможно, лучше всего могут использовать технологию, в то время как преподаватели обновляют свое понимание.
Это привело к некоторым неловким ситуациям, например, когда профессор Техасской академии наук и искусств отказался отмечать свои классные работы, поскольку считал, что они сгенерированы ИИ.
Одно можно сказать наверняка: ИИ будет все прочнее внедряться в образование, как с положительной, так и с отрицательной стороны.
