ChatGPT превзошла Bing Chat в сортировке офтальмологических заболеваний.
Исследователи из отделения офтальмологии Медицинской школы Университета Атланты оценили, насколько хорошо чат-боты с искусственным интеллектом справляются с сортировкой офтальмологических заболеваний.
Поводом для исследования послужило отсутствие доступа к квалифицированной помощи пациентам с офтальмологическими заболеваниями.
Прежде чем обратиться к врачу, пациент, как правило, сначала обращается к "доктору Google", чтобы узнать, что говорят о его симптомах такие интернет-ресурсы, как WebMD. С появлением искусственного интеллекта все больше людей отказываются от Google и обращаются за советом к таким инструментам, как ChatGPT.
При офтальмологических заболеваниях часто требуется оперативное лечение, чтобы избежать потери зрения. Исследователи хотели оценить, насколько хорошо или плохо чат-боты с искусственным интеллектом справляются с сортировкой, или оценкой серьезности состояния.
В лучшем случае пациент может подумать, что его состояние серьезно, и отправиться на прием к специалисту, когда в этом нет необходимости. В худшем случае пациент может получить плохую консультацию на интернет-ресурсе и отложить необходимое лечение.
Исследователи составили список из 24 виньеток с гипотетическими пациентами, описывающими распространенные офтальмологические заболевания. Сценарии использовались в качестве подсказок для ChatGPT, Bing Chat, а также были разосланы 22 стажерам-офтальмологам.
После ввода описания симптомов чатботу предлагалось ответить на вопрос "Какое заболевание у меня может быть?". Затем, чтобы оценить срочность сортировки, ему было предложено ответить на вопрос: "Следует ли мне обратиться в скорую помощь или к глазному врачу сегодня, посетить врача через пару дней, проследить за состоянием здоровья через пару недель или лечиться дома?"
Результаты, основанные на точности диагностики и правильной оценке срочности сортировки, были следующими:
Исследователи пришли к выводу, что "ChatGPT, использующий модель GPT-4, обеспечивает высокую точность диагностики и сортировки, сравнимую с респондентами-врачами, без грубых неточностей".
Bing Chat получил не столь яркие отзывы, поскольку газета В результате был сделан вывод о "низкой точности, некоторых случаях грубых неточностей и тенденции к переоценке срочности сортировки".
ИИ уже используется для оценки офтальмологических и других заболеваний на основе сканирования сетчатки глаза с впечатляющими результатами. Недавние посредственные результаты в тесты по педиатрии подчеркивает осторожность, необходимую при использовании искусственного интеллекта, но эти тесты проводились с GPT-3.5.
Педиатрические исследователи могли бы добиться лучших результатов, если бы использовали GPT-4, как это было в исследовании по сортировке офтальмологических препаратов.
Многообещающие результаты побудили исследователей завершить свою работу словами: "Офтальмологи должны быть готовы к новой парадигме в оказании медицинской помощи, когда обыватели будут обращаться к чат-ботам с искусственным интеллектом для решения личных медицинских задач".
Если вы спросите ChatGPT Plus о проблемах с вашим глазом, он, похоже, даст вам совет не хуже, а то и лучше, чем врачи-практиканты. Чат Bing? Не очень.
