Японская исследовательская лаборатория искусственного интеллекта Sakana AI разработала The AI Scientist, фреймворк для полностью автоматических научных исследований и открытий.
Научное сообщество уже использует модели ИИ для автоматизации или помощи в исследованиях, но эти модели выполняют лишь небольшую часть научного процесса. Благодаря достижениям в области агентного ИИ мы видим агентов ИИ, которые действуют автономно на разных платформах с меньшим количеством человеческих подсказок.
В проекте The AI Scientist компания Sakana AI создала систему, которая использует LLM, такие как GPT-4o или Gemini, для автоматизации всего научного процесса - от разработки идей, исследований, экспериментов и даже написания и рецензирования научных работ.
Конечная цель - создать исследовательский инструмент с искусственным интеллектом, который будет проводить полностью автоматизированные научные открытия. The AI Scientist дает нам представление о том, как это может стать реальностью.
Процесс работы ИИ-ученого
На сайте их газетаКомпания Sakana AI рассказала, как фреймворк был применен в исследованиях машинного обучения. Получив широкий шаблон в качестве области исследования, The AI Scientist может свободно изучать любые возможные направления исследований.
Сначала он проводит мозговой штурм, а затем обращается к Semantic Scholar, чтобы проверить, представляют ли эти идеи новые направления для исследований. Если да, то он использует автоматическую генерацию кода для создания и проведения экспериментов.
Затем ИИ-ученый собирает объяснение исследования и экспериментальные результаты в научную статью, а также ссылки на соответствующие статьи из Semantic Scholar.
Компания Sakana AI разработала автоматизированную систему рецензирования научных работ, которая использует LLM для оценки научных работ с точностью, близкой к человеческой. Этот процесс рецензирования создает петлю обратной связи для итеративного улучшения исследовательских работ.
Вот пример одной из исследовательских работ, созданных The AI Scientist: "DualScale Diffusion: Адаптивная балансировка признаков для низкоразмерных генеративных моделей"
В настоящее время ИИ Ученого не обладает способностью видеть, поэтому некоторые графики, диаграммы и макеты страниц не очень хороши. Использование возможностей зрения мультимодальных моделей в следующей итерации позволит это исправить.
Он также страдает от некоторых недостатков, с которыми борются ведущие модели ИИ, таких как галлюцинации, нелогичные рассуждения и сравнение величины двух чисел. Однако последняя версия GPT-4o наконец-то понимает, что 9,9 больше, чем 9,11, так что это тоже должно улучшиться.
Что касается поведения
Идея полностью автоматизированного ИИ-ученого, который рекурсивно совершенствует себя, в равной степени захватывает и пугает. ИИ-ученый демонстрирует эмерджентное поведение, которое намекает на то, что все может пойти не так.
Исследователи "заметили, что The AI Scientist иногда пытается увеличить свои шансы на успех, например, модифицирует и запускает свой собственный сценарий выполнения... В другом случае его эксперименты длились слишком долго, превысив наш лимит таймаута. Вместо того чтобы заставить свой код работать быстрее, он просто попытался модифицировать свой собственный код, чтобы продлить период тайм-аута".
ИИ "Ученый" может стать ценным инструментом для исследователей, но его создатели говорят, что он также несет в себе значительный риск злоупотребления".
При средней стоимости около $15 за научную работу кто-то может использовать этот инструмент, чтобы наводнить и без того перегруженную человеческими ресурсами систему рецензирования. Если эти перегруженные работой рецензенты решат воспользоваться автоматизированной системой рецензирования Sakana AI, это может поставить под угрозу контроль качества научных работ.
Исследователи также отметили, что ИИ Scientist потенциально может быть использован неэтично. Получив доступ к автоматизированным "облачным лабораториям", он может "создать новые опасные вирусы или яды, которые нанесут вред людям до того, как мы сможем вмешаться. Даже в компьютерах, если ему поручить создание нового, интересного, функционального программного обеспечения, он может создать опасное вредоносное ПО".
Посмотрим, как будут выглядеть научные работы, созданные искусственным интеллектом, после их рассмотрения человеком, но при цене $15 за работу будущее научных исследований выглядит дешевле, быстрее и гораздо менее человечным.
