Исследователи из Университета Беркли (Калифорния) разработали систему прогнозирования на основе искусственного интеллекта, которая предсказывает будущие события с точностью, аналогичной человеческой мудрости толпы.
Поскольку LLM не предназначены для прогнозирования событий, команда создала систему прогнозирования на основе GPT-4, используя новый подход, называемый "рассуждения с расширением поиска" (retrieval-augmented reasoning).
Этот многоступенчатый процесс включает в себя обучение GPT-4 поиску необходимой информации, оценке ее значимости и включению в процесс рассуждений, прежде чем сделать прогноз.
Вот как это работает:
- Извлечение: Система искусственного интеллекта использует GPT-4 для создания поисковых запросов на основе вопроса и подвопросов прогнозирования, получая широкий набор потенциально релевантных новостных статей.
- Оценка актуальности: GPT-4 оценивает релевантность каждой найденной статьи, отбрасывая низкорейтинговые статьи, чтобы сузить информационный пул.
- Подведение итогов: GPT-4 сокращает каждую статью до ключевых моментов, фокусируясь на деталях, связанных с вопросом прогнозирования.
- Рассуждения: Используя "подсказки со скретч-панели", GPT-4 анализирует обобщенные статьи и составляет подробный прогноз с пояснительным обоснованием. Эти подсказки направляют мыслительный процесс модели, поощряя систематический подход к рассуждениям.
Затем команда из Беркли сделала еще один шаг вперед, создав систему с самоконтролем и точной настройкой.
Они сгенерировали большое количество прогнозов ИИ по прошлым вопросам с известными ответами и выбрали примеры, в которых ИИ превзошел "мудрость толпы", определяемую как совокупность прогнозов людей-прогнозистов.
Настроив GPT-4 на этих примерах, исследователи научили модель подражать моделям рассуждений, которые создавали наилучшие прогнозы.
Результаты
При тестировании вопросов, связанных с прогнозированием на период с июня 2023 года и далее, ИИ получил оценку Brier 0,179, по сравнению с оценкой человека-прогнозиста 0,149.
ИИ особенно хорошо справлялся с вопросами с высокой неопределенностью на ранних этапах процесса прогнозирования и когда у него был доступ к достаточному количеству релевантных статей по конкретной теме.
(b) Когда люди не уверены в своих прогнозах (уровень доверия от 0,3 до 0,7), система работает лучше: оценка Брайера составляет 0,199 по сравнению с 0,246. Однако когда люди очень уверены в своих прогнозах (уровень доверия менее 0,05), они работают лучше, чем наша система.
(c) Точность системы выше в начале сбора информации. Источник: ArXiv (открытый доступ).
Авторы пишут в исследование"Насколько нам известно, это первая автоматизированная система с возможностями прогнозирования, приближающимися к уровню человеческой толпы, которая обычно сильнее отдельных прогнозистов".
Есть одна небольшая особенность: система, казалось, ухудшала свои показатели при увеличении количества статей для работы и, следовательно, при повышении уверенности в прогнозе. Это может быть связано с тем, что модель "хеджирует" свои прогнозы.
Исследователи описывают это следующим образом: "Мы предполагаем, что это связано со склонностью нашей модели к хеджированию прогнозов, обусловленной ее обучением безопасности".
Последствия
По мнению исследователей, такая форма прогнозирования ИИ на основе языка может быть полезна политикам, бизнесменам и чиновникам здравоохранения.
"В будущем люди, принимающие политические решения, смогут советоваться с ИИ о том, какие действия с наибольшей вероятностью приведут к желаемому результату", - утверждает Дэн Хендрикс из Центра безопасности ИИ в Калифорнии.
Он предлагает использовать модели прогнозирования для борьбы с грядущими опасностями, создаваемыми ИИ. "Прогнозирующие боты помогут нам предвидеть и избежать этих рисков", - говорит Хендрикс. рассказал New Scientist.
Были предприняты и другие попытки предсказать сложные жизненные события с помощью ИИ, в том числе модель, обученная датскими исследователями для прогнозировать риск преждевременной смерти.
Использование искусственного интеллекта в прогностических приложениях, влияющих на жизнь людей, ставит этические вопросы, например, обеспечение прозрачности, беспристрастности и этической обоснованности таких систем.
В новом исследовании, проведенном в Беркли, рассказывается о том, как искусственный интеллект может делать эффективные прогнозы, но мы не можем оценить, насколько точно он принимает свои решения.
Использование искусственного интеллекта для предсказания важных общественных и индивидуальных событий может показаться антиутопической концепцией, но это уже широко распространенная практика во многих частях мира.
В ряде демократических стран, включая США, Великобританию, Бразилию, Австралию и Нидерланды, искусственный интеллект используется для охрана порядка, наблюдение и принятие решений по вопросам социального обеспечения.
Может ли искусственный интеллект предсказывать аспекты вашего будущего прямо сейчас? Безусловно, это возможно.
