A OpenAI descontinuou a sua ferramenta de deteção de texto por IA devido a uma dececionante "baixa taxa de precisão" na distinção entre o texto criado pelo ChatGPT e o texto escrito por humanos.
A ferramenta foi tornada pública em janeiro, mas agora apresenta um erro de "página não encontrada" quando se tenta aceder à mesma através deste blogue.
A OpenAI tenciona reconstruir uma ferramenta melhor com o tempo, afirmando: "Estamos a trabalhar para incorporar o feedback e estamos atualmente a investigar técnicas de proveniência mais eficazes para o texto".
Além disso, a OpenAI está a investigar a forma de criar detectores de IA para conteúdos áudio e visuais, como as imagens geradas com o DALL-E. Já existem ferramentas de deteção de imagens com IA, mas revelaram-se fáceis de enganar para rotular conteúdos como "reais", manipulando imagens e adicionar artefactos como o ruído.
Este facto coincide com o quadro voluntário para a IA anunciado pela Casa Branca na semana passadaque a OpenAI subscreveu juntamente com outras seis empresas líderes no domínio da IA. O quadro delineia compromissos para reprimir conteúdos falsos profundos potencialmente prejudiciais, e os detectores de IA serão uma componente fundamental para o conseguir.
A OpenAI introduziu a ferramenta de deteção de texto em janeiro de 2023 para estabelecer um método oficial de análise de conteúdos gerados por IA.
No mesmo mês, a OpenAI, a Universidade de Stanford e a Universidade de Georgetown publicou um artigo sobre a desinformação gerada por IA, salientando a necessidade de ferramentas que distingam com precisão o texto escrito por humanos do texto gerado por IA.
"Os modelos linguísticos generativos melhoraram drasticamente e podem agora produzir resultados de texto realistas que são difíceis de distinguir do conteúdo escrito por humanos... Para os agentes maliciosos, estes modelos linguísticos trazem a promessa de automatizar a criação de texto convincente e enganador", argumenta o documento.
As potenciais "ameaças" vão desde a utilização abusiva da IA por parte dos estudantes para os ajudar a copiar nos trabalhos até cenários mais extremos como a interferência nas eleições e muito mais.
A ferramenta da OpenAI apenas classificou corretamente 26% de texto gerado por IA como "provavelmente escrito por IA" e identificou falsamente texto composto por humanos como escrito por IA em 9% das vezes.
Foi particularmente ineficaz na análise de passagens de texto com menos de 1.000 caracteres e escritas em línguas que não o inglês.
A OpenAI desactivou o acesso à ferramenta em 20 de julho, sem qualquer indicação clara de quando será lançada uma nova versão.
As ferramentas de deteção de IA enfrentam problemas permanentes
Num estudo recente de StanfordAs ferramentas de deteção de IA revelaram-se ineficazes quando aplicadas a textos escritos por falantes nativos não ingleses.
Especificamente, as ferramentas de deteção de IA rotularam incorretamente estes textos como "escritos por IA", provavelmente devido a frases e sintaxe padrão não nativas. Este facto pode ser prejudicial se for implementado em ambientes educativos - os textos podem ser falsamente assinalados como tendo sido escritos por IA, apesar de serem autênticos.
Ironicamente, a equipa de investigação podia muitas vezes enganar os detectores de IA para que voltassem a classificar os mesmos textos como "escritos por humanos", introduzindo-os no ChatGPT e pedindo-lhe que reescrevesse o texto com frases mais complexas. Assim, os estudantes podiam recorrer à IA para evitar a sua deteção.
À medida que os conteúdos gerados por IA se tornam mais sofisticados, a precisão dos detectores de IA tornar-se-á cada vez mais problemática.
