Uma nova investigação revelou um potencial preconceito contra falantes não nativos de inglês no software de deteção de IA.
O estudo sugeriu que mais de metade dos ensaios em inglês não nativo escritos por humanos estão a ser erradamente assinalados como sendo gerados por IA. As implicações destes falsos positivos são significativas, especialmente para estudantes e candidatos a emprego.
O estudo testou sete detectores de texto de IA amplamente utilizados em artigos escritos por falantes não nativos de inglês. Os resultados indicaram uma elevada taxa de falsos positivos, com estes artigos a serem erradamente classificados como gerados por IA.
James Zou, professor assistente de ciência de dados biomédicos da Universidade de Stanford, liderou a equipa que analisou 91 ensaios escritos por falantes não nativos de inglês através de sete detectores populares de GPT.
Estes ensaios, escritos para o mundialmente reconhecido TOEFL (Test of English as a Foreign Language), foram mais de metade erradamente assinalados como tendo sido criados por IA. Num caso, um programa chegou a assinalar 98% dos ensaios como tendo sido criados por IA.
Em contraste, quando o software analisou redacções escritas por alunos do oitavo ano dos EUA, falantes nativos de inglês, mais de 90% foram corretamente identificados como sendo de origem humana.
Os detectores de IA têm sido amplamente criticados por penalizarem os indivíduos com falsos positivos, embora alguns sejam consideravelmente piores do que outros.
Uma das principais conclusões do estudo é que os detectores de IA têm muitas vezes dificuldade em interpretar corretamente as expressões utilizadas por falantes não nativos de inglês.
Estes sistemas foram treinados principalmente com dados de falantes nativos de inglês, o que os leva a classificar certas frases ou estruturas como incorrectas simplesmente porque se desviam do que é considerado o uso nativo da língua inglesa.
Os falantes não nativos de inglês enfrentam uma potencial discriminação
As implicações deste facto são de grande alcance. Os falantes não nativos de inglês poderão ter de enfrentar desafios quando submeterem trabalhos através de plataformas de classificação automática utilizadas pelas instituições de ensino.
Além disso, os algoritmos discriminatórios podem penalizar injustamente os alunos cuja primeira língua não é o inglês, perpetuando a desigualdade social na sala de aula.
Os autores concluem: "Alertamos para o risco de utilização de detectores de GPT em contextos avaliativos ou educativos, particularmente quando se avalia o trabalho de falantes não nativos de inglês."
Mas porque é que os algoritmos de deteção de IA são frustrados por textos em inglês não nativo?
Os detectores de IA baseiam-se em "perplexidade do texto", uma medida da previsibilidade com que um modelo linguístico generativo consegue antecipar a palavra seguinte numa frase. Uma perplexidade baixa indica uma previsão fácil, enquanto uma perplexidade elevada reflecte uma frase menos previsível. Palavras complexas, frases, comparações, metáforas e expressões idiomáticas aumentam as pontuações de perplexidade, que podem faltar aos escritores não nativos de inglês.
As IAs tendem a produzir uma sequência de palavras mais previsível. Assim, os seres humanos que utilizam palavras comuns em padrões familiares arriscam-se a que o seu trabalho seja confundido com texto produzido por IA.
É claro que isto não inclui apenas texto escrito por não nativos, mas também texto escrito num estilo ou nível de leitura específico. Por exemplo, um texto concebido para ser altamente legível corre o risco de ser assinalado.
Ironicamente, depois de identificar este preconceito inerente, os investigadores utilizaram o ChatGPT para reescrever os ensaios TOEFL assinalados utilizando uma linguagem mais complexa.
Uma vez processados novamente através dos detectores de IA, todos os ensaios editados foram rotulados como escritos por humanos. Este resultado sublinha uma situação algo paradoxal - estes detectores podem, inadvertidamente, encorajar os escritores não nativos a utilizar mais a IA para escapar à deteção.
Os educadores estão a contar com mais do que detectores de IA para combater o plágio. Estão a realizar tarefas de escrita adicionais na sala de aula, a analisar mais aprofundadamente os usos de referência e a sua exatidão, e a analisar a autenticidade das citações.
Entretanto, os estabelecimentos de ensino estão a estabelecer regras para a utilização e gestão da IA, incluindo o Grupo Russell de universidades do Reino Unido, que publicou recentemente um declaração conjunta sobre a IA.
