Ein Team unter Leitung von Princeton schlägt Alarm: KI birgt Risiken für wissenschaftliche Integrität

Die künstliche Intelligenz verändert die wissenschaftliche Forschung, aber ohne angemessene Anleitung kann sie mehr schaden als nutzen.

Das ist die pointierte Schlussfolgerung einer neues Papier veröffentlicht in Science Advances von einem interdisziplinären Team von 19 Forschern unter der Leitung der Informatiker Arvind Narayanan und Sayash Kapoor von der Princeton University. 

Das Team argumentiert, dass der Missbrauch des maschinellen Lernens in allen wissenschaftlichen Disziplinen zu einer Krise der Reproduzierbarkeit führt, die die Grundlagen der Wissenschaft zu untergraben droht.

"Wenn wir von den traditionellen statistischen Methoden zu den Methoden des maschinellen Lernens übergehen, gibt es viel mehr Möglichkeiten, sich selbst ins Bein zu schießen". sagte Narayanan, der das Zentrum für Informationstechnologiepolitik in Princeton leitet. 

"Wenn wir nicht eingreifen, um unsere wissenschaftlichen Standards und Berichterstattungsstandards zu verbessern, wenn es um die auf maschinellem Lernen basierende Wissenschaft geht, riskieren wir, dass nicht nur eine Disziplin, sondern viele verschiedene wissenschaftliche Disziplinen diese Krisen nacheinander wiederentdecken."

Nach Ansicht der Autoren besteht das Problem darin, dass das maschinelle Lernen in fast allen wissenschaftlichen Bereichen rasch Einzug gehalten hat, oft ohne klare Standards, die die Integrität und Reproduzierbarkeit der Ergebnisse gewährleisten.

Sie betonen, dass tEs wurden bereits Tausende von Arbeiten veröffentlicht, in denen mangelhafte Methoden des maschinellen Lernens verwendet wurden.

Doch das Team unter Leitung von Princeton sagt, dass noch Zeit ist, diese drohende Krise zu vermeiden. Sie haben eine einfache Checkliste mit bewährten Praktiken vorgelegt, die, wenn sie allgemein angenommen werden, die Zuverlässigkeit des maschinellen Lernens in der Wissenschaft gewährleisten könnten. 

Die Checkliste mit der Bezeichnung REFORMS (Recommendations for Machine-learning-based Science) besteht aus 32 Fragen zu acht Schlüsselbereichen:

1. Ziele der Studie: Geben Sie klar die wissenschaftliche Behauptung an, die Sie aufstellen, und wie das maschinelle Lernen zu deren Untermauerung eingesetzt werden soll. Begründen Sie die Wahl des maschinellen Lernens gegenüber traditionellen statistischen Methoden.
2. Rechnerische Reproduzierbarkeit: Stellen Sie den Code, die Daten, die Spezifikationen für die Computerumgebung, die Dokumentation und ein Reproduktionsskript zur Verfügung, damit andere die Ergebnisse der Studie unabhängig reproduzieren können.
3. Qualität der Daten: Dokumentieren Sie die Datenquellen, den Stichprobenrahmen, die Ergebnisvariablen, den Stichprobenumfang und den Umfang der fehlenden Daten. Begründen Sie, dass der Datensatz für die wissenschaftliche Fragestellung geeignet und repräsentativ ist.
4. Vorverarbeitung der Daten: Geben Sie an, wie die Daten bereinigt, umgewandelt und in Trainings- und Testsätze aufgeteilt wurden. Geben Sie eine Begründung für alle Daten, die ausgeschlossen wurden.
5. Modellierung: Beschreiben und begründen Sie alle getesteten Modelle, die Methode zur Auswahl des/der endgültigen Modells/Modelle und das Verfahren zur Abstimmung der Hyperparameter. Vergleichen Sie die Leistung mit den entsprechenden Baselines.
6. Datenverluste: Vergewissern Sie sich, dass der Modellierungsprozess nicht versehentlich Informationen aus den Testdaten verwendet hat und dass die eingegebenen Merkmale das Ergebnis nicht verfälschen.

"Dies ist ein systematisches Problem mit systematischen Lösungen", erklärt Kapoor.

Die Kosten eines Fehlers sind jedoch könnten immens sein. Fehlerhafte Wissenschaft könnte vielversprechende Forschung zunichte machen, Forscher entmutigen und das Vertrauen der Öffentlichkeit in die Wissenschaft untergraben. 

Frühere Forschungsarbeiten, wie z. B. Die groß angelegte Umfrage der Natur von Akademikern über generative KI in der Wissenschaft zeigte, dass eine tiefere und fortschreitende Integration von KI in wissenschaftliche Arbeitsabläufe unvermeidlich ist.

Die Teilnehmer hoben zahlreiche Vorteile hervor: 66% merkten an, dass KI eine schnellere Datenverarbeitung ermöglicht, 58% glaubten, dass sie die Berechnungen verbessert, und 55% sagten, dass sie Zeit und Geld spart. 

Allerdings waren 53% der Meinung, dass die Ergebnisse nicht reproduzierbar sein könnten, 58% befürchteten eine Verzerrung, und 55% glaubten, dass KI betrügerische Forschung ermöglichen könnte. 

Wir haben Beweise dafür beobachtet, als Forscher veröffentlichte einen Artikel mit unsinnigen KI-generierten Diagrammen in der Zeitschrift Frontiers - eine Ratte mit riesigen Hoden, nicht weniger. Komisch, aber es zeigte, dass die Peer Review nicht einmal die offensichtlichsten Anwendungen von KI erfasst. 

Letztlich ist die KI wie jedes Werkzeug nur so sicher und effektiv wie der Mensch, der dahinter steht. Ein unvorsichtiger Einsatz, auch wenn er nicht beabsichtigt ist, kann die Wissenschaft in die Irre führen.

Die neuen Leitlinien zielen darauf ab, "ehrliche Leute ehrlich zu halten", wie Narayanan es ausdrückte.

Eine weit verbreitete Annahme durch Forscher, Gutachter und Zeitschriften könnte einen neuen Standard für wissenschaftliche Integrität im Zeitalter der KI setzen.

Es wird jedoch schwierig sein, einen Konsens zu finden, zumal die Krise der Reproduzierbarkeit bereits unter dem Radar fliegt.