Искусственный интеллект создает проблемы в процессе рецензирования научных работ.
Научное издательство сталкивается со все более острым вопросом: что делать с ИИ в процессе рецензирования?
Эколог Тимоте Пуазо недавно получил отзыв, который, очевидно, был создан с помощью ChatGPT. К документу была прикреплена следующая характерная строка слов: “Вот пересмотренная версия вашего отзыва с улучшенной ясностью и структурой”.”
Пуазо был возмущен. “Я отправляю рукопись на рецензирование в надежде получить комментарии от коллег, — негодовал он в своем блоге. — Если это предположение не выполняется, весь общественный договор рецензирования нарушается”.“
Случай с Пуазо не является единичным. недавнее исследование В статье, опубликованной в журнале Nature, было обнаружено, что до 17% рецензий на доклады конференций по искусственному интеллекту в 2023-2024 годах показали признаки существенной модификации с помощью языковых моделей.
И в отдельном Исследование природы, Почти каждый пятый исследователь признался, что использует ИИ для ускорения и упрощения процесса рецензирования.
Мы также наблюдали несколько абсурдных случаев, когда контент, созданный с помощью ИИ, проскальзывает через процесс рецензирования, призванный поддерживать качество исследований.
В 2024 году статья, опубликованная в журнале Frontiers В журнале, посвященном исследованию сложных сигнальных путей клеток, были обнаружены странные и бессмысленные диаграммы, сгенерированные инструментом для создания графики на основе искусственного интеллекта Midjourney.
На одном изображении была изображена деформированная крыса, а другие представляли собой просто случайные завитки и каракули, заполненные бессмысленным текстом.
Пользователи Twitter были в ужасе от того, что такие явно ошибочные рисунки прошли рецензирование. “Э-э, как рисунок 1 вообще прошел проверку рецензентов?!” — спросил один из них.
По сути, существуют два риска: а) использование искусственного интеллекта рецензентами для проверки контента и б) проникновение контента, сгенерированного ИИ, через весь процесс рецензирования.
Издательства реагируют на возникающие проблемы. Elsevier полностью запретила использование генеративного ИИ в процессе рецензирования. Wiley и Springer Nature разрешают “ограниченное использование” при условии раскрытия информации. Некоторые, например, Американский институт физики, осторожно тестируют инструменты ИИ для дополнения, но не замены, человеческой обратной связи.
Однако привлекательность искусственного интеллекта, созданного с помощью генерации кода, велика, и некоторые видят в нем преимущества при разумном применении. Исследование Стэнфордского университета показало, что 401 ученый посчитал, что отзывы на их работы, оставленные ChatGPT, могут быть столь же полезными, как и отзывы людей, а 201 ученый — даже более полезными.
Однако на протяжении тысячелетий академическая среда основывалась на человеческом вкладе, поэтому сопротивление очень сильное. “Не противодействуя автоматизированным проверкам, мы сдались”, — написал Пуазо.
Многие утверждают, что весь смысл экспертной оценки заключается в получении обратной связи от коллег-специалистов, а не в алгоритмическом одобрении.
