Uma nova investigação sugere que o ChatGPT pode superar os alunos em áreas específicas, enganando os professores e evitando os detectores de IA.
Um estudo conduzido por Yasir Zaki da Universidade de Nova Iorque Abu Dhabi concluiu que a resposta do ChatGPT igualou ou excedeu a qualidade das respostas dos alunos em nove de 32 disciplinas.
Nomeadamente, o chatbot obteve quase o dobro da pontuação do aluno médio num curso chamado Introdução às Políticas Públicas.
No entanto, houve falhas na armadura da IA, uma vez que o ChatGPT se debateu com tarefas que exigiam "análise crítica". E não nos esqueçamos de que os estudantes humanos dominaram o processo.
Mesmo assim, o fosso entre o trabalho gerado pela IA e o trabalho humano está a diminuir, o que tem consequências potencialmente dramáticas para o sector da educação e para os sistemas de conhecimento humano no seu conjunto
Curiosamente, o ChatGPT foi bastante fraco em tarefas que exigiam competências ou conhecimentos de programação e informática, mas foi excelente em investigação social, política e engenharia.
As 32 matérias abrangeram disciplinas como ciência da computação, matemática, sociologia, psicologia, ciência política e negócios. Além disso, o estudo inquiriu estudantes e educadores de cinco países - Brasil, Índia, Japão, Reino Unido e Estados Unidos - para avaliar as suas perspectivas sobre a utilização da tecnologia na educação.
"Estes avaliadores não foram informados das fontes destas respostas, nem do objetivo da avaliação", afirma Zaki.
"O ChatGPT teve um desempenho muito melhor nas perguntas que exigiam a memorização de informações, mas teve um desempenho fraco nas perguntas que exigiam análise crítica", diz Zaki.
Além disso, os investigadores descobriram que os serviços de deteção de IA distinguem mal entre respostas humanas e respostas geradas por IA, com taxas de sucesso de 95%.
O inquérito que explora os sentimentos dos estudantes e dos professores em relação à IA na educação revelou uma polarização sobre se a utilização da IA constitui ou não plágio.
Thomas Lancaster, do Imperial College de Londres, falou sobre as implicações do estudo. Segundo ele, os resultados expõem as falhas na atual abordagem das avaliações universitárias. "Se [são possíveis] melhores respostas [com o ChatGPT], isso sugere que existem falhas na conceção da avaliação."
Principais conclusões
Este estudo multifacetado investigou o desempenho do ChatGPT e recolheu informações adicionais sobre opiniões qualitativas acerca da tecnologia.
Eis as principais conclusões:
- Desempenho académico: O desempenho do ChatGPT foi comparável ou superior ao dos estudantes universitários em 9 dos 32 cursos de oito disciplinas.
- Faltam algoritmos de deteção: Os algoritmos actuais, incluindo o GPTZero, concebidos para detetar texto gerado pelo ChatGPT, são largamente ineficazes. Estes algoritmos não só classificam erradamente as respostas humanas como sendo geradas por IA, como também não identificam corretamente o conteúdo gerado pelo ChatGPT como tal.
- Opinião dos alunos e dos professores: Existe um aparente desfasamento entre estudantes e educadores quanto às implicações éticas da utilização do ChatGPT. A esmagadora maioria dos estudantes tenciona utilizar a ferramenta para trabalhos escolares, enquanto os educadores tendem a tratar a sua utilização como plágio.
- Perspectivas globais: Os estudantes e educadores inquiridos de cinco países (Brasil, Índia, Japão, Reino Unido e EUA) revelaram opiniões diferentes sobre a utilização ética do ChatGPT. Por exemplo, enquanto os estudantes na Índia consideram que a sua utilização para trabalhos de casa não é ética, os do Brasil consideram-na ética. No entanto, 94% dos estudantes de ambos os países tencionam utilizar o ChatGPT para fins académicos.
O papel da IA na educação transformou-se num debate turbulento, com os estudantes talvez mais bem colocados para tirar partido da tecnologia enquanto os educadores actualizam os seus conhecimentos.
Isto levou a algumas situações embaraçosas, como quando um professor do Texas A&M recusou-se a marcar os seus trabalhos de aula porque acreditava que eram gerados por IA.
Uma coisa é certa: A IA será cada vez mais incorporada na educação, de forma positiva ou negativa.
