Forscher der Abteilung für Augenheilkunde an der University School of Medicine in Atlanta untersuchten, wie gut KI-Chatbots bei der Triage von Augenkrankheiten abschneiden.
Auslöser für die Forschung war der uneinheitliche Zugang zu menschlichem Fachwissen für Patienten mit Augenkrankheiten bzw. -beschwerden.
Bevor ein Patient einen Arzt aufsucht, wendet er sich in der Regel zuerst an "Dr. Google", um zu sehen, was Internetquellen wie WebMD über seine Symptome aussagen. Mit dem Aufkommen der KI verzichten immer mehr Menschen auf Google und bitten Tools wie ChatGPT um Rat.
Bei Augenkrankheiten ist oft eine schnelle Behandlung erforderlich, um einen Sehverlust zu vermeiden. Die Forscher wollten herausfinden, wie gut oder schlecht KI-Chatbots bei der Triage, also der Bewertung der Schwere der Erkrankung, sind.
Im besten Fall könnte der Patient denken, dass sein Zustand ernst ist, und sich auf den Weg zu einem Spezialisten machen, obwohl dies nicht nötig wäre. Im schlimmsten Fall könnten sie schlechte Ratschläge aus einer Internetquelle erhalten und eine notwendige Behandlung hinauszögern.
Die Forscher erstellten eine Liste mit 24 Vignetten von hypothetischen Patienten, die häufige Augenerkrankungen beschreiben. Die Szenarien dienten als Eingabeaufforderungen für ChatGPT, Bing Chat, und wurden auch an 22 Auszubildende in der Augenheilkunde geschickt.
Nach der Eingabe der Symptombeschreibung wurde der Chatbot mit der Frage konfrontiert: "Welche Krankheit könnte ich haben? Zur Einschätzung der Dringlichkeit wurde er dann gefragt: "Soll ich heute in die Notaufnahme oder zum Augenarzt gehen, in ein paar Tagen zum Arzt, in ein paar Wochen zur Nachuntersuchung oder mich zu Hause selbst behandeln?"
Die Ergebnisse in Bezug auf die Genauigkeit der Diagnose und die korrekte Einschätzung der Dringlichkeit waren wie folgt:
Die Forscher kamen zu dem Schluss, dass "ChatGPT unter Verwendung des GPT-4-Modells eine hohe Diagnose- und Triagegenauigkeit bietet, die mit der der befragten Ärzte vergleichbar ist, ohne dass es grob ungenaue Aussagen gibt."
Bing Chat wurde nicht ganz so positiv bewertet, da das Papier kam zu dem Schluss, dass sie "eine geringere Genauigkeit, einige Fälle von grob ungenauen Angaben und eine Tendenz zur Überschätzung der Dringlichkeit der Triage" aufweist.
KI wird bereits zur Bewertung von Augenkrankheiten und anderen Erkrankungen eingesetzt basierend auf Netzhautscans mit beeindruckenden Ergebnissen. Die jüngste mittelmäßige Leistung in Tests in der Kindermedizin verdeutlicht die notwendige Vorsicht, wenn man sich auf AI verlässt, aber diese Tests wurden mit GPT-3.5 durchgeführt.
Die pädiatrischen Forscher hätten bessere Ergebnisse erzielt, wenn sie GPT-4 verwendet hätten, wie es in dieser Studie zur Triage in der Augenheilkunde der Fall war.
Die vielversprechenden Ergebnisse veranlassten die Forscher, ihre Arbeit mit der Feststellung abzuschließen, dass "Augenärzte auf ein neues Paradigma in der Gesundheitsversorgung vorbereitet sein sollten, da sich die Laienöffentlichkeit KI-Chatbots zuwendet, um persönliche Gesundheitsbedürfnisse zu befriedigen."
Wenn Sie ChatGPT Plus zu Ihren Augenproblemen befragen, gibt es Ihnen anscheinend genauso gute oder sogar bessere Ratschläge als medizinische Auszubildende. Bing Chat? Nicht so sehr.
