Le ChatGPT a démontré ses compétences en matière d'examen, obtenant des résultats similaires à ceux des étudiants dans le cadre de plusieurs cursus et d'autres tests, tels que l'examen du barreau pour les avocats. Mais peut-il fournir des résultats satisfaisants aux examens médicaux ?
Un groupe de médecins pédiatres a testé ChatGPT, et plus particulièrement le modèle GPT-3.5.
Ils ont passé le ChatGPT à l'examen du conseil d'administration en néonatalogie et périnatalogie, qui est essentiel pour les étudiants en pédiatrie. L'étude, publié dans le JAMAL'analyse des résultats de l'enquête a révélé que la version 3.5 de ChatGPT n'a obtenu que 46% de réponses correctes.
ChatGPT's a obtenu les meilleurs résultats dans les questions de rappel de base et de raisonnement clinique, mais ses limites ont été révélées par les questions nécessitant un raisonnement multilogique.
Plus précisément, le modèle a obtenu son score le plus bas, 37,5 %, dans la section gastro-entérologie et son score le plus élevé, 78,5 %, dans la section éthique - ce qui est peut-être ironique.
L'auteur principal de l'étude, Andrew Beam, est professeur adjoint d'informatique biomédicale à la Harvard Medical School.
Il a souligné que les progrès rapides de l'IA ont été tout à fait remarquables. "Il y a eu un moment l'année dernière où, tout à coup, cinq ou six modèles différents ont tous obtenu des scores de 80 % ou plus", a-t-il déclaré, soulignant la rapidité avec laquelle le domaine évolue.
L'épouse de Beam, Kristyn, qui enseigne la pédiatrie à la Harvard Medical School, a également participé à l'étude. "Je voulais qu'il n'y ait pas de bons résultats, donc de ce point de vue, j'étais contente", a-t-elle avoué.
Toutefois, elle reconnaît que l'IA est inévitablement intégrée dans les soins de santé, comme nous l'avons déjà vu avec le programme IRM alimentée par l'IA, diagnostic des maladies oculaireset développement de médicamentspour ne citer que quelques-unes de ses applications en plein essor.
"Il est vraiment important de trouver comment introduire ces données dans le monde clinique et de les introduire en toute sécurité".
L'équipe prévoit de réaliser des tests avec le GPT-4 supérieur et de les appliquer aux mêmes examens de néonatalogie-périnatalité et d'anesthésiologie.
Andrew Beam a également souligné l'importance de savoir quelle version d'un grand modèle linguistique vous utilisez, notant que la version la plus récente GPT-4 est disponible sur abonnement, tandis que la version plus ancienne ChatGPT 3.5 est toujours disponible gratuitement.
"La plupart des utilisateurs seront probablement attirés par l'outil gratuit et devraient garder à l'esprit ses limites", a-t-il déclaré. Globalement, $20/mois est loin d'être négligeable.
ChatGPT a été testé lors de divers examensUne étude récente l'a comparé à 32 sujets de niveau universitaire et a montré qu'il a battu ou dépassé les étudiants dans seulement 9 examens sur 32.
L'IA a également été testée lors de l'examen du barreau, du Graduate Record Examinations (GRE), du SAT Reading and Writing, des examens d'Advanced Placement, et de l'examen de l'Université du Québec à Montréal (UQAM). beaucoup d'autreset obtiennent souvent de très bonnes notes.
