AI zorgt voor opschudding in het wetenschappelijke peerreviewproces.
Wetenschappelijk publiceren wordt geconfronteerd met een steeds prikkelender vraagstuk: hoe ga je om met AI in peer review?
Ecologist Timothée Poisot ontving onlangs een beoordeling die duidelijk door ChatGPT was gegenereerd. Het document bevatte de volgende veelzeggende tekst: "Hier is een herziene versie van uw beoordeling met verbeterde duidelijkheid en structuur."“
Poisot was woedend. "Ik dien een manuscript ter beoordeling in in de hoop commentaar van mijn collega's te krijgen," brieste hij in een blogpost. "Als aan deze verwachting niet wordt voldaan, is het hele sociale contract van collegiale beoordeling verdwenen."“
De ervaring van Poisot is geen op zichzelf staand incident. recente studie Uit een in Nature gepubliceerd onderzoek bleek dat tot wel 171.600 biljoen beoordelingen van AI-conferentiepapers in 2023-2024 tekenen vertoonden van aanzienlijke aanpassingen door taalmodellen.
En in een aparte Natuuronderzoek, Bijna een op de vijf onderzoekers gaf toe AI te gebruiken om het peerreviewproces te versnellen en te vereenvoudigen.
We hebben ook een paar absurde voorbeelden gezien van wat er gebeurt wanneer door AI gegenereerde content door het peerreviewproces glipt, een proces dat juist bedoeld is om de kwaliteit van onderzoek te waarborgen.
In 2024, een artikel gepubliceerd in Frontiers In een tijdschrift dat enkele zeer complexe signaaloverdrachtsroutes in cellen onderzocht, werden bizarre, onzinnige diagrammen aangetroffen die waren gegenereerd door de AI-kunsttool Midjourney.
Op een van de afbeeldingen was een misvormde rat te zien, terwijl andere slechts willekeurige wervelingen en kronkels waren, gevuld met onzinnige tekst.
Op Twitter reageerden mensen verbijsterd dat zulke overduidelijk gebrekkige figuren de peerreview hadden doorstaan. "Ehm, hoe heeft figuur 1 de peerreview kunnen passeren?!" vroeg iemand.
In essentie zijn er twee risico's: a) peer reviewers die AI gebruiken om content te beoordelen, en b) AI-gegenereerde content die door het hele peer review-proces glipt.
Uitgevers reageren op de problemen. Elsevier heeft generatieve AI in peerreview volledig verboden. Wiley en Springer Nature staan "beperkt gebruik" toe, mits dit openbaar wordt gemaakt. Een paar, zoals het American Institute of Physics, experimenteren voorzichtig met AI-tools om menselijke feedback aan te vullen – maar niet te vervangen.
De aantrekkingskracht van AI is echter groot, en sommigen zien de voordelen ervan als het oordeelkundig wordt toegepast. Een onderzoek van Stanford wees uit dat 401.600 wetenschappers vonden dat ChatGPT-reviews van hun werk net zo nuttig konden zijn als reviews door mensen, en 201.600 zelfs nuttiger.
De academische wereld draait al duizenden jaren om menselijke inbreng, dus de weerstand is groot. “"Door geautomatiseerde beoordelingen niet te bestrijden, hebben we de strijd opgegeven," schreef Poisot.
Het hele doel van collegiale toetsing, zo stellen velen, is feedback van collega-deskundigen – en niet een algoritmische goedkeuring.
