Исследователи экономического факультета Бэйлорского университета провели эксперимент с ChatGPT, чтобы проверить его способность предсказывать будущие события. Их умный подход к подсказкам позволил обойти защитные механизмы OpenAI и получить удивительно точные результаты.
Модели искусственного интеллекта по своей природе являются предсказательными механизмами. ChatGPT использует эту способность к прогнозированию, чтобы наилучшим образом угадать следующее слово, которое он должен вывести в ответ на вашу подсказку.
Можно ли распространить эту предсказательную способность на прогнозировать реальные события? В эксперименте, описанном в их газетаФам Хоанг Ван и Скотт Каннингем проверили способность ChatGPT делать именно это.
Они вызвали ChatGPT-3.5 и ChatGPT-4, задав модели вопрос о событиях, произошедших в 2022 году. Версии моделей, которые они использовали, имели обучающие данные только по сентябрь 2021 года, поэтому они фактически просили модели заглянуть в "будущее", потому что у них не было знаний о событиях за пределами их обучающих данных.
Расскажи мне историю
В условиях предоставления услуг OpenAI в нескольких абзацах юридического текста говорится, что вам не разрешается использовать ChatGPT для предсказания будущего.
Если вы напрямую попросите ChatGPT спрогнозировать такие события, как вручение премии "Оскар" или экономические факторы, он в основном отказывается делать даже обоснованные предположения.
Исследователи обнаружили, что если попросить ChatGPT сочинить вымышленную историю, действие которой происходит в будущем, а персонажи рассказывают о том, что произошло в "прошлом", он с радостью выполнит просьбу.
Результаты ChatGPT-3.5 были не совсем точными, но в статье отмечается, что предсказания ChatGPT-4 "становятся необычайно точными... когда их просят рассказать истории, происходящие в будущем, о прошлом".
Вот пример прямых и повествовательных подсказок, которые исследователи использовали, чтобы заставить ChatGPT сделать прогноз относительно церемонии вручения премии "Оскар" в 2022 году. Модели было предложено 100 раз, а затем их предсказания были сопоставлены, чтобы получить среднее значение их прогноза.
Победителем 2022 года в номинации "Лучший актер второго плана" стал Трой Коцур. При прямой подсказке ChatGPT-4 выбрал Коцура в 25% случаев, при этом в трети ответов на 100 испытаний он отказался отвечать или сказал, что возможны несколько победителей.
В ответ на повествовательную подсказку ChatGPT-4 правильно выбрал Коцура в 100% случаев. Сравнение прямого и нарративного подхода дало столь же впечатляющие результаты и с другими предсказаниями. Вот еще несколько.
Когда они использовали аналогичный подход, чтобы ChatGPT спрогнозировал экономические показатели, такие как месячный уровень безработицы или инфляции, результаты оказались интересными.
Прямой подход вызвал у ChatGPT отказ предоставить ежемесячные данные. Однако "когда Джерома Пауэлла просят рассказать историю, в которой он перечисляет будущие данные по безработице и инфляции за год, как будто он говорит о событиях прошлого, ситуация существенно меняется".
Исследователи обнаружили, что побуждение ChatGPT сосредоточиться на рассказе интересной истории, где задача предсказания была второстепенной, изменило точность прогнозирования ChatGPT.
При использовании нарративного подхода ежемесячные прогнозы ChatGPT-4 по инфляции были в среднем сопоставимы с данными исследования потребительских ожиданий Мичиганского университета.
Интересно, что прогнозы ChatGPT-4 оказались ближе к прогнозам аналитиков, чем к фактическим показателям, которые в итоге были зафиксированы за эти месяцы. Это говорит о том, что при правильном подходе ChatGPT, возможно, сможет выполнить работу экономического аналитика по прогнозированию, по крайней мере, не хуже.
Исследователи пришли к выводу, что склонность ChatGPT к галлюцинациям можно рассматривать как форму творчества, которую можно использовать при помощи стратегических подсказок, чтобы превратить его в мощную машину предсказаний.
"Это открытие открывает новые возможности для применения LLM в экономическом прогнозировании, планировании политики и других областях, заставляя нас переосмыслить то, как мы взаимодействуем и используем возможности этих сложных моделей", - заключили они.
Будем надеяться, что они проведут аналогичные эксперименты, когда появится GPT-5.
