Um novo modelo de aprendizagem automática supera os modelos de deteção de texto de IA para artigos no domínio da química.
O estudo, publicado em Relatórios sobre células Ciências físicasdescreve um classificador de texto de IA que ultrapassa o desempenho de dois outros sistemas de deteção de IA populares, incluindo o ZeroGPT.
O modelo analisa 20 características estilísticas da escrita, como a variação do comprimento das frases e a utilização de palavras e pontuação específicas, para avaliar se um texto foi composto por um académico ou por um ChatGPT.
Os investigadores treinaram o modelo com as introduções de 100 artigos publicados em dez revistas de química da American Chemical Society (ACS). De seguida, os investigadores pediram ao ChatGPT-3.5 para criar 200 introduções num estilo consistente com as revistas da ACS, fornecendo os títulos para metade e os resumos para a outra metade.
Após a avaliação, o detetor identificou sem falhas 100% das introduções da autoria de ChatGPT com base nos títulos. Ao analisar as introduções geradas a partir dos resumos, a precisão foi ligeiramente reduzida para 98%.
A proficiência do detetor foi consistente mesmo com texto do modelo GPT-4. Foi comparado com o ZeroGPT e com uma ferramenta de classificação de texto da OpenAI, tendo ambos demonstrado taxas de precisão significativamente inferiores.
A coautora do estudo, Heather Desaire, uma química da Universidade do Kansas em Lawrence, sublinhou o objetivo único da sua ferramenta: "A maior parte do campo da análise de texto quer um detetor realmente geral que funcione em qualquer coisa. Nós estávamos a tentar obter precisão ao criar uma ferramenta que se concentra num tipo específico de papel".
Embora a ferramenta tenha demonstrado a sua força em vários estilos de revistas e sugestões, é altamente especializada em artigos científicos e foi menos eficaz com material de jornais universitários.
Uma vez que a IA só foi aplicada a introduções e resumos, não funcionaria efetivamente num artigo inteiro.
Mais informações sobre o estudo
Tendo em conta o fraco desempenho dos detectores de escrita com IA existentes e a controvérsia que estão a causar, qualquer modelo com uma taxa de precisão próxima de 100% é, de facto, muito interessante.
- Este detetor de texto de IA foi concebido para artigos de revistas científicas, especificamente revistas de química, demonstrando uma precisão notável na distinção entre texto humano e texto gerado por IA, incluindo texto GPT-4.
- O detetor, que utiliza um algoritmo de aprendizagem automática XGBoost baseado em 20 características de texto distintas, supera as actuais ferramentas de deteção de IA e apresenta uma taxa de precisão de 98%-100%.
- A ferramenta identificou com êxito o texto gerado pela IA em vários cenários de teste, mesmo com instruções concebidas para ocultar a utilização da IA, o que indica robustez face a diferentes estilos e complexidades de escrita.
No entanto, com um conjunto de dados de treino tão pequeno, é preciso dizer que esta abordagem parece vulnerável ao sobreajuste, o que significa que o modelo pode funcionar excecionalmente bem para os dados utilizados, mas apresentar um desempenho fraco fora disso.
Além disso, pode haver uma tendência implícita para rotular o texto como escrito por humanos em casos ambíguos, dado que o detetor está a ser desenvolvido para detetar texto gerado por IA, dando possivelmente prioridade aos falsos negativos em detrimento dos falsos positivos.
