ChatGPT heeft zijn examenvaardigheden bewezen door op vergelijkbare wijze te scoren als studenten op verschillende opleidingen en andere tests, zoals het advocatuurexamen. Maar kan het ook bevredigende resultaten leveren op medische examens?
Een groep kinderartsen testte ChatGPT, met name het GPT-3.5-model.
Ze testten ChatGPT op het neonataal-perinatale toelatingsexamen, dat cruciaal is voor studenten kindergeneeskunde. De studie, gepubliceerd in JAMAbleek dat ChatGPT versie 3.5 slechts 46% correcte antwoorden scoorde.
ChatGPT presteerde het best op basisvragen en vragen over klinisch redeneren, maar zijn beperkingen kwamen aan het licht bij vragen die multi-logisch redeneren vereisten.
Specifiek scoorde het model het laagst, 37,5 procent, in de gastro-enterologiesectie en het hoogst, 78,5 procent, in ethiek - misschien ironisch.
De hoofdauteur van het onderzoek, Andrew Beam, is assistent-professor biomedische informatica aan de Harvard Medical School.
Hij wees erop dat de snelle ontwikkelingen op het gebied van AI niets minder dan opmerkelijk zijn. "Vorig jaar was er een moment waarop ineens vijf of zes verschillende modellen allemaal een score van 80 procent of hoger haalden," zei hij en benadrukte het snelle tempo waarin het veld zich ontwikkelt.
Kristyn, de vrouw van Beam en docent kindergeneeskunde aan de Harvard Medical School, nam ook deel aan het onderzoek. "Ik wilde dat het niet goed zou gaan, dus vanuit dat perspectief was ik blij," bekende ze.
Ze erkent echter dat het onvermijdelijk is dat AI zich nestelt in de gezondheidszorg, zoals we al hebben gezien met AI-gestuurde MRI-scans, diagnostiek van oogziektenen geneesmiddelenontwikkelingom maar een paar toepassingen te noemen.
"Het is echt belangrijk om uit te zoeken hoe we dat in de klinische wereld kunnen brengen en hoe we dat op een veilige manier kunnen doen," aldus de Amerikaanse wetenschappers.
Het team is van plan om tests uit te voeren met de superieure GPT-4 en deze toe te passen op dezelfde neonataal-perinatale en anesthesiologie examens.
Andrew Beam wees er ook op dat het belangrijk is om te weten welke versie van een groot taalmodel je gebruikt, waarbij hij opmerkte dat de nieuwere GPT-4 beschikbaar is op abonnementsbasis, terwijl de oudere ChatGPT 3.5 nog steeds gratis beschikbaar is.
"De meeste gebruikers zullen zich waarschijnlijk aangetrokken voelen tot de gratis tool en moeten rekening houden met de beperkingen ervan," zei hij. Wereldwijd is $20/mo verre van verwaarloosbaar.
ChatGPT is geweest getest op verschillende examenswaaronder een recent onderzoek waarin het werd vergeleken met 32 onderwerpen op diplomaniveau en waarin werd vastgesteld dat het studenten versloeg of overtrof op slechts 9/32 examens.
De AI is ook getest op het balie-examen voor rechten, Graduate Record Examinations (GRE), SAT Reading and Writing, Advanced Placement-examens en andere examens. vele anderenen scoren vaak zeer hoog.
