KI sorgt für Unruhe im wissenschaftlichen Peer-Review-Prozess
Wissenschaftliches Publizieren angesichts eines zunehmend brisanten Themas: Wie geht man mit KI im Peer-Review-Verfahren um?
Der Ökologe Timothée Poisot erhielt kürzlich eine Rezension, die eindeutig von ChatGPT erstellt worden war. Dem Dokument war folgende verräterische Wortfolge beigefügt: “Hier ist eine überarbeitete Version Ihrer Rezension mit verbesserter Klarheit und Struktur.”
Poisot war empört. “Ich reiche ein Manuskript zur Begutachtung ein, in der Hoffnung, Anmerkungen von meinen Kollegen zu erhalten”, schimpfte er in einem Blogbeitrag. “Wenn diese Annahme nicht erfüllt wird, ist der gesamte gesellschaftliche Vertrag der Peer-Review hinfällig.”
Poisots Erfahrung ist kein Einzelfall. aktuelle Studie Eine in Nature veröffentlichte Studie ergab, dass bis zu 171.000 Rezensionen von Konferenzbeiträgen zum Thema KI in den Jahren 2023-24 Anzeichen einer substanziellen Modifizierung durch Sprachmodelle aufwiesen.
Und in einem separaten Naturerkundung, Fast jeder fünfte Forscher gab zu, KI einzusetzen, um den Peer-Review-Prozess zu beschleunigen und zu vereinfachen.
Wir haben auch einige absurde Fälle erlebt, in denen KI-generierte Inhalte durch den Peer-Review-Prozess schlüpfen, der eigentlich die Qualität der Forschung sichern soll.
Im Jahr 2024, ein Artikel veröffentlicht in Frontiers Es stellte sich heraus, dass eine Fachzeitschrift, die einige hochkomplexe Zellsignalwege untersuchte, bizarre, sinnlose Diagramme enthielt, die mit dem KI-Grafiktool Midjourney generiert worden waren.
Auf einem Bild war eine deformierte Ratte zu sehen, während die anderen nur zufällige Wirbel und Kringel zeigten, gefüllt mit Kauderwelsch.
Kommentatoren auf Twitter zeigten sich entsetzt darüber, dass solch offensichtlich fehlerhafte Abbildungen die Begutachtung durch Fachkollegen überstanden hatten. “Ähm, wie konnte Abbildung 1 die Begutachtung passieren?!”, fragte einer.
Im Wesentlichen bestehen zwei Risiken: a) dass Gutachter KI zur Überprüfung von Inhalten einsetzen und b) dass KI-generierte Inhalte den gesamten Peer-Review-Prozess umgehen.
Verlage reagieren auf die Problematik. Elsevier hat generative KI im Peer-Review-Verfahren gänzlich verboten. Wiley und Springer Nature erlauben eine “eingeschränkte Nutzung” unter Offenlegungspflicht. Einige wenige, wie das American Institute of Physics, erproben KI-Tools vorsichtig, um menschliches Feedback zu ergänzen – aber nicht zu ersetzen.
Die Faszination für künstliche Intelligenz ist jedoch groß, und manche sehen Vorteile in ihrer umsichtigen Anwendung. Eine Studie der Stanford University ergab, dass 40160 Wissenschaftler ChatGPT-Reviews ihrer Arbeit als ebenso hilfreich wie menschliche Rezensionen empfanden, 20160 sogar als hilfreicher.
Die Wissenschaft ist jedoch seit Jahrtausenden auf menschliche Beiträge angewiesen, daher ist der Widerstand groß. “Wenn wir automatisierte Bewertungen nicht bekämpfen, bedeutet das, dass wir aufgegeben haben”, schrieb Poisot.
Der eigentliche Sinn des Peer-Review-Verfahrens liegt, so argumentieren viele, in der Rückmeldung von Fachkollegen – und nicht in einer algorithmischen Abnickprüfung.
