Новая модель машинного обучения выигрывает у моделей распознавания текста ИИ для статей в области химии.
Исследование, опубликованное в Доклады о клетках Физическая наукаОписывается классификатор текстов на основе ИИ, который превосходит по производительности две другие популярные системы обнаружения ИИ, включая ZeroGPT.
Модель тщательно анализирует 20 стилистических особенностей письма, таких как вариативность длины предложений и специфическое использование слов и знаков препинания, чтобы определить, было ли произведение написано академиком или ChatGPT.
Исследователи обучили модель на введениях из 100 опубликованных статей в десяти химических журналах Американского химического общества (ACS). Затем исследователи попросили ChatGPT-3.5 создать 200 вступлений в стиле, соответствующем журналам ACS, предоставив для половины из них заголовки, а для другой половины - аннотации.
При оценке детектор безупречно идентифицировал 100% введений, автором которых является ChatGPT, по названиям. При анализе вступлений, сгенерированных из аннотаций, точность немного снизилась до 98%.
Детектор показал высокие результаты даже при работе с текстом из модели GPT-4. Его сравнивали с ZeroGPT и инструментом классификации текста от OpenAI, и оба показали значительно более низкие показатели точности.
Соавтор исследования Хизер Десайр, химик из Канзасского университета в Лоуренсе, подчеркнула уникальную направленность своего инструмента: "Большинство специалистов в области анализа текста хотят иметь действительно общий детектор, который будет работать на чем угодно. Мы же стремились к точности, создавая инструмент, ориентированный на определенный тип бумаги".
Несмотря на то, что инструмент продемонстрировал свои сильные стороны при работе с различными стилями журналов и подсказками, он специализируется на научных статьях и оказался менее эффективным при работе с материалами из университетских газет.
Поскольку ИИ применялся только к введениям и аннотациям, он не смог бы эффективно работать со всей статьей.
Подробнее об исследовании
Учитывая низкую производительность существующих ИИ-детекторов письма и споры, которые они вызывают, любая модель с показателем точности, близким к 100%, является очень интересной.
- Этот ИИ-детектор текста был разработан для статей в научных журналах, в частности в журналах по химии, и продемонстрировал поразительную точность в различении текста, созданного человеком и ИИ, включая текст GPT-4.
- Детектор, использующий алгоритм машинного обучения XGBoost, основанный на 20 различных текстовых признаках, превосходит существующие инструменты обнаружения ИИ и показывает точность 98%-100%.
- Инструмент успешно распознал текст, созданный искусственным интеллектом, в различных сценариях тестирования, даже при использовании подсказок, призванных скрыть использование искусственного интеллекта, что свидетельствует о его устойчивости к различным стилям и сложностям письма.
Однако при таком небольшом наборе обучающих данных можно сказать, что этот подход уязвим для чрезмерной подгонки, то есть модель может работать исключительно хорошо для используемых данных, но демонстрировать низкую производительность за их пределами.
Более того, возможно, существует неявное предубеждение против того, чтобы помечать текст как написанный человеком в неоднозначных случаях, учитывая, что детектор разрабатывается для выявления текстов, созданных искусственным интеллектом, и, возможно, отдает предпочтение ложноотрицательным, а не ложноположительным результатам.
