ChatGPT tem demonstrado as suas capacidades de exame, obtendo resultados semelhantes aos dos estudantes em vários cursos de licenciatura e noutros testes, como o exame da Ordem dos Advogados. Mas será que consegue obter resultados satisfatórios nos exames médicos?
Um grupo de médicos pediátricos pôs à prova o ChatGPT, especificamente o modelo GPT-3.5.
O ChatGPT foi aprovado no exame neonatal-perinatal, que é fundamental para os estudantes de pediatria. O estudo, publicado no JAMArevelou que a versão 3.5 do ChatGPT obteve apenas 46% respostas correctas.
O ChatGPT teve um melhor desempenho em questões de recordação básica e de raciocínio clínico, mas as suas limitações foram expostas por questões que exigiam raciocínio multi-lógico.
Especificamente, o modelo obteve a pontuação mais baixa, 37,5%, na secção de gastroenterologia e a mais alta, 78,5%, em ética - talvez ironicamente.
O autor sénior do estudo, Andrew Beam, é professor assistente de informática biomédica na Harvard Medical School.
Salientou que os rápidos avanços na IA têm sido nada menos do que notáveis. "No ano passado, houve um momento em que, de repente, cinco ou seis modelos diferentes obtiveram pontuações de 80% ou mais", afirmou, sublinhando o ritmo acelerado a que o campo está a evoluir.
A mulher de Beam, Kristyn, professora de pediatria na Harvard Medical School, também participou no estudo. "Eu queria que não corresse bem, por isso, nessa perspetiva, fiquei contente", confessou.
No entanto, reconhece a inevitabilidade de a IA se integrar nos cuidados de saúde, como já vimos com Exame de ressonância magnética com IA, diagnóstico de doenças ocularese desenvolvimento de medicamentospara citar apenas algumas das suas crescentes aplicações.
"É realmente importante descobrir como trazer isso para o mundo clínico e fazê-lo de forma segura".
A equipa planeia realizar testes com o GPT-4 superior e aplicá-los aos mesmos exames neonatais-perinatais e de anestesiologia.
Andrew Beam também salientou a importância de saber qual a versão de um modelo linguístico de grande dimensão que está a utilizar, referindo que o GPT-4 mais recente está disponível por subscrição, enquanto o ChatGPT 3.5 mais antigo ainda está disponível gratuitamente.
"A maioria dos utilizadores será provavelmente atraída pela ferramenta gratuita e deve ter em conta as suas limitações", afirmou. A nível mundial, $20/mês está longe de ser insignificante.
ChatGPT tem sido testado em vários examesincluindo um estudo recente que o comparou com 32 tópicos de nível de licenciatura, concluindo que superou ou ultrapassou os alunos em apenas 9/32 exames.
A IA também foi testada no exame da Ordem dos Advogados, no Graduate Record Examinations (GRE), no SAT Reading and Writing, nos exames Advanced Placement e muitos outros, muitas vezes com uma pontuação muito elevada.
