Группа специалистов под руководством Принстона бьет тревогу: ИИ представляет риск для научной целостности

Май 2, 2024
  • Междисциплинарная команда, предупрежденная о свободном использовании машинного обучения в науке
  • Исследования, проводимые с помощью ML, невозможно повторить, а это принцип, на который опирается наука.
  • Для преодоления этого академического кризиса они предлагают REFORMS - контрольный список из 32 вопросов.
Наука об искусственном интеллекте

ИИ меняет научные исследования, но без надлежащего руководства он может принести больше вреда, чем пользы.

К такому выводу пришел новая газета Опубликовано в журнале Science Advances междисциплинарной командой из 19 исследователей под руководством компьютерщиков Принстонского университета Арвинда Нараянана и Саяша Капура. 

Команда утверждает, что неправильное использование машинного обучения в научных дисциплинах приводит к кризису воспроизводимости, который угрожает подорвать сами основы науки.

"Когда мы переходим от традиционных статистических методов к методам машинного обучения, появляется гораздо больше способов выстрелить себе в ногу". сказал Нараянан.который руководит Центром политики в области информационных технологий Принстона. 

"Если мы не предпримем меры по улучшению наших научных стандартов и стандартов отчетности, когда речь идет о науке, основанной на машинном обучении, мы рискуем, что не только одна дисциплина, но и множество различных научных дисциплин будут открывать эти кризисы один за другим".

По мнению авторов, проблема заключается в том, что машинное обучение стремительно внедряется практически во все научные области, зачастую без четких стандартов, обеспечивающих целостность и воспроизводимость результатов.

Они подчеркивают, чтоУже опубликованы тысячи работ, в которых используются несовершенные методы машинного обучения.

Но команда специалистов из Принстона утверждает, что еще есть время, чтобы избежать надвигающегося кризиса. Они предложили простой список лучших практик, которые, если их широко внедрить, смогут обеспечить надежность машинного обучения в науке. 

Контрольный список, получивший название REFORMS (Recommendations for Machine-learning-based Science), состоит из 32 вопросов по восьми ключевым направлениям:

  1. Цели исследования: Четко сформулируйте научное утверждение и то, как машинное обучение будет использоваться для его подтверждения. Обоснуйте выбор машинного обучения вместо традиционных статистических методов.
  2. Воспроизводимость вычислений: Предоставьте код, данные, спецификации вычислительной среды, документацию и сценарий воспроизведения, необходимые для самостоятельного воспроизведения результатов исследования.
  3. Качество данных: Задокументируйте источники данных, структуру выборки, итоговые переменные, размер выборки и количество отсутствующих данных. Обоснуйте, что набор данных является подходящим и репрезентативным для научного вопроса.
  4. Предварительная обработка данных: Сообщите, как данные были очищены, преобразованы и разделены на обучающие и тестовые наборы. Обоснуйте, какие данные были исключены.
  5. Моделирование: Опишите и обоснуйте все опробованные модели, метод, использованный для выбора окончательной модели (моделей), и процесс настройки гиперпараметров. Сравните производительность с соответствующими базовыми показателями.
  6. Утечка данных: Убедитесь, что в процессе моделирования не была случайно использована информация из тестовых данных и что входные характеристики не просачиваются в результат.

"Это системная проблема с системными решениями", - объясняет Капур.

Однако расходы, связанные с неправильным выбором может быть огромным. Ошибки в науке могут загубить перспективные исследования, оттолкнуть исследователей и подорвать доверие общества к науке. 

Предыдущие исследования, такие как Масштабное исследование природы академиков, посвященный генеративному ИИ в науке, показал, что более глубокая и постепенная интеграция ИИ в научные процессы неизбежна.

Участники подчеркнули множество преимуществ: 66% отметили, что ИИ позволяет быстрее обрабатывать данные, 58% считают, что он улучшает вычисления, а 55% заявили, что он экономит время и деньги. 

Однако 531 человек считает, что результаты могут быть невоспроизводимыми, 581 человек беспокоится о предвзятости, а 551 человек считает, что ИИ может стать причиной мошеннических исследований. 

Мы наблюдали свидетельства этого, когда исследователи опубликовал статью с нелепыми диаграммами, сгенерированными ИИ, в журнале Frontiers - крыса с гигантскими яичками, не меньше. Комично, но это показало, как рецензирование может не уловить даже очевидные случаи использования ИИ. 

В конечном счете, как и любой другой инструмент, ИИ безопасен и эффективен лишь в той мере, в какой за ним стоит человек. Неосторожное использование, даже непреднамеренное, может сбить науку с пути.

По словам Нараянана, новые правила направлены на то, чтобы "честные люди оставались честными".

Широкое распространение среди исследователей, рецензентов и журналов может установить новый стандарт научной честности в эпоху ИИ.

Однако достижение консенсуса будет непростой задачей, тем более что кризис воспроизводимости и так находится в тени.

Присоединяйтесь к будущему


ПОДПИСАТЬСЯ СЕГОДНЯ

Четко, лаконично, всесторонне. Получите представление о развитии искусственного интеллекта с помощью DailyAI

Сэм Джинс

Сэм - писатель в области науки и техники, работавший в различных AI-стартапах. Когда он не пишет, его можно найти за чтением медицинских журналов или копанием в коробках с виниловыми пластинками.

×
 
 

ЭКСКЛЮЗИВНЫЙ БЕСПЛАТНЫЙ PDF
Будьте впереди с DailyAI


 

Подпишитесь на нашу еженедельную рассылку и получите эксклюзивный доступ к последней электронной книге DailyAI: "Освоение инструментов искусственного интеллекта: Ваше руководство по повышению производительности в 2024 году".



 
 

* Подписываясь на нашу рассылку, вы принимаете наши Политика конфиденциальности и наш Условия и положения