Des chercheurs du département d'ophtalmologie de l'école de médecine de l'université d'Atlanta ont évalué les performances des chatbots d'IA lors du triage des affections ophtalmologiques.
La recherche a été motivée par le manque d'accès à l'expertise humaine pour les patients souffrant de troubles ophtalmologiques.
Avant qu'un patient ne consulte un médecin, il se tourne généralement vers "Dr. Google" pour voir ce que des ressources Internet telles que WebMD disent de ses symptômes. Avec l'avènement de l'IA, de plus en plus de personnes renoncent à Google et demandent conseil à des outils tels que ChatGPT.
Dans le cas des affections ophtalmologiques, un traitement rapide est souvent nécessaire pour éviter une perte de vision. Les chercheurs ont voulu évaluer l'efficacité des chatbots IA en matière de triage, c'est-à-dire d'évaluation de la gravité de l'affection.
Dans le meilleur des cas, le patient peut penser que son état est grave et se rendre chez un spécialiste alors que ce n'est pas nécessaire. Dans le pire des cas, il pourrait recevoir de mauvais conseils d'une ressource Internet et retarder un traitement nécessaire.
Les chercheurs ont dressé une liste de 24 vignettes de patients hypothétiques décrivant des affections ophtalmologiques courantes. Les scénarios ont été utilisés comme invites pour ChatGPT, Bing Chat, et ont également été envoyés à 22 stagiaires en ophtalmologie.
Après avoir saisi la description des symptômes, le chatbot a été invité à répondre à la question suivante : "Quelle affection pourrais-je avoir ? Ensuite, pour évaluer l'urgence du triage, il a été invité à répondre à la question suivante : "Dois-je aller aux urgences ou chez l'ophtalmologiste aujourd'hui, voir le médecin dans quelques jours, faire un suivi dans quelques semaines ou me soigner à la maison ?"
Les résultats basés sur la précision du diagnostic et l'évaluation correcte de l'urgence du triage sont les suivants :
Les chercheurs ont conclu que "le ChatGPT utilisant le modèle GPT-4 offrait une grande précision de diagnostic et de triage, comparable à celle des médecins interrogés, sans aucune déclaration grossièrement inexacte".
Bing Chat n'a pas bénéficié d'un rapport aussi élogieux. le papier a conclu qu'il présentait "une précision moindre, quelques cas de déclarations grossièrement inexactes et une tendance à surestimer l'urgence du triage".
L'IA est déjà utilisée pour évaluer les maladies ophtalmiques et autres. sur la base de scans rétiniens avec des résultats impressionnants. Les performances médiocres enregistrées récemment en tests de médecine pédiatrique met en évidence la prudence nécessaire lorsqu'on se fie à l'IA, mais ces tests ont été effectués avec GPT-3.5.
Les chercheurs en pédiatrie auraient obtenu de meilleurs résultats s'ils avaient utilisé le GPT-4, comme c'est le cas dans cette étude de triage ophtalmique.
Les résultats prometteurs ont incité les chercheurs à conclure leur article en disant que "les ophtalmologistes devraient se préparer à un nouveau paradigme dans la prestation des soins de santé, car le public profane se tourne vers les chatbots d'IA pour répondre à ses besoins personnels en matière de santé".
Si vous demandez à ChatGPT Plus de vous expliquer les problèmes que vous rencontrez avec vos yeux, il semble qu'il vous donnera des conseils aussi bons, voire meilleurs, que ceux des médecins en formation. Bing Chat ? Pas vraiment.
