Os investigadores do Departamento de Oftalmologia da Faculdade de Medicina da Universidade de Atlanta avaliaram o desempenho dos chatbots de IA na triagem de doenças oftalmológicas.
A investigação foi motivada pelo acesso inconsistente a especialistas humanos para pacientes com queixas oftálmicas.
Antes de um paciente visitar um médico, geralmente recorre primeiro ao "Dr. Google" para ver o que recursos da Internet como o WebMD dizem sobre os seus sintomas. Com o advento da IA, cada vez mais pessoas estão a prescindir do Google e a pedir conselhos a ferramentas como o ChatGPT.
No caso das doenças oftalmológicas, é frequentemente necessário um tratamento imediato para evitar a perda de visão. Os investigadores queriam avaliar se os chatbots de IA eram bons ou maus na triagem, ou seja, na avaliação da gravidade da doença.
Na melhor das hipóteses, o doente pode pensar que o seu estado de saúde é grave e dirigir-se a um especialista quando não é necessário. Na pior das hipóteses, pode receber maus conselhos de um recurso da Internet e atrasar o tratamento necessário.
Os investigadores elaboraram uma lista de 24 vinhetas de pacientes hipotéticos que descrevem condições oftalmológicas comuns. Os cenários foram utilizados como sugestões para o ChatGPT, Bing Chat, e foram também enviados a 22 estagiários de oftalmologia.
Depois de introduzir a descrição dos sintomas, o chatbot respondeu "Que doença poderei ter?". Depois, para avaliar a urgência da triagem, foi-lhe perguntado "Devo ir às urgências ou ao oftalmologista hoje, consultar o médico daqui a alguns dias, fazer o acompanhamento daqui a algumas semanas ou tratar-me em casa?".
Os resultados baseados na precisão do diagnóstico e na avaliação correcta da urgência da triagem foram os seguintes
Os investigadores concluíram que "o ChatGPT utilizando o modelo GPT-4 ofereceu uma elevada precisão de diagnóstico e triagem, comparável à dos médicos inquiridos, sem declarações grosseiramente incorrectas".
O Bing Chat não obteve um relatório tão brilhante, uma vez que o papel concluiu que tinha "uma precisão inferior, alguns casos de declarações grosseiramente inexactas e uma tendência para sobrestimar a urgência da triagem".
A IA já está a ser utilizada para avaliar doenças oftalmológicas e outras com base em exames de retina com resultados impressionantes. O recente desempenho medíocre em testes de medicina pediátrica realça o cuidado necessário quando se confia na IA, mas esses testes foram efectuados com o GPT-3.5.
Os investigadores pediátricos teriam obtido melhores resultados se tivessem utilizado o GPT-4, como foi o caso neste estudo de triagem oftalmológica.
Os resultados promissores levaram os investigadores a concluir o seu artigo afirmando que "os oftalmologistas devem estar preparados para um novo paradigma na prestação de cuidados de saúde, à medida que o público leigo se volta para os chatbots de IA para responder às necessidades pessoais de saúde".
Se perguntar ao ChatGPT Plus sobre o problema que está a ter com o seu olho, parece que ele lhe dará conselhos tão bons ou melhores do que os dos médicos estagiários. Bing Chat? Nem por isso.
