AI verandert het wetenschappelijk onderzoek, maar zonder de juiste begeleiding kan het meer kwaad dan goed doen.
Dat is de puntige conclusie van een nieuw papier gepubliceerd in Science Advances door een interdisciplinair team van 19 onderzoekers onder leiding van de Princeton University computerwetenschappers Arvind Narayanan en Sayash Kapoor.
Het team stelt dat het misbruik van machine learning in wetenschappelijke disciplines een reproduceerbaarheidscrisis aanwakkert die de fundamenten van de wetenschap dreigt te ondermijnen.
"Wanneer we overstappen van traditionele statistische methodes naar machine-learning methodes, zijn er veel meer manieren om jezelf in de voet te schieten," aldus de Amerikaanse auteur. aldus Narayanandie Princetons Centrum voor Informatietechnologiebeleid leidt.
"Als we niet ingrijpen om onze wetenschappelijke standaarden en rapportagenormen te verbeteren als het gaat om wetenschap gebaseerd op machine learning, lopen we het risico dat niet slechts één discipline, maar veel verschillende wetenschappelijke disciplines deze crises de een na de ander herontdekken."
Volgens de auteurs is het probleem dat machine learning snel is overgenomen door bijna elk wetenschappelijk gebied, vaak zonder duidelijke normen om de integriteit en reproduceerbaarheid van de resultaten te garanderen.
Ze benadrukken dat tEr zijn al duizenden artikelen gepubliceerd met gebrekkige methoden voor machinaal leren.
Maar het team onder leiding van Princeton zegt dat er nog tijd is om deze dreigende crisis te voorkomen. Ze hebben een eenvoudige checklist met best practices opgesteld die, als ze op grote schaal worden toegepast, de betrouwbaarheid van machinaal leren in de wetenschap zou kunnen waarborgen.
De checklist, REFORMS genaamd (Recommendations for Machine-learning-based Science), bestaat uit 32 vragen op acht belangrijke gebieden:
- Studiedoelen: Geef duidelijk aan welke wetenschappelijke bewering wordt gedaan en hoe machinaal leren zal worden gebruikt om deze te ondersteunen. Rechtvaardig de keuze voor machinaal leren boven traditionele statistische methoden.
- Computationele reproduceerbaarheid: Zorg voor de code, gegevens, specificaties van de rekenomgeving, documentatie en een reprografiescript die anderen nodig hebben om de resultaten van het onderzoek zelfstandig te reproduceren.
- Gegevenskwaliteit: Documenteer de gegevensbronnen, het steekproefkader, de uitkomstvariabelen, de steekproefgrootte en het aantal ontbrekende gegevens. Rechtvaardig dat de dataset geschikt en representatief is voor de wetenschappelijke vraag.
- Gegevens voorbewerken: Rapporteer hoe de gegevens zijn opgeschoond, getransformeerd en opgesplitst in trainings- en testsets. Geef een reden voor alle gegevens die zijn uitgesloten.
- Modelleren: Beschrijf en rechtvaardig alle uitgeprobeerde modellen, de methode die is gebruikt om het (de) uiteindelijke model(len) te selecteren en het proces voor het afstemmen van de hyperparameters. Vergelijk de prestaties met geschikte basislijnen.
- Lekken van gegevens: Controleer of het modelleerproces niet onbedoeld informatie uit de testgegevens heeft gebruikt en of inputkenmerken de uitkomst niet lekken.
"Dit is een systematisch probleem met systematische oplossingen," legt Kapoor uit.
De kosten als je het fout doet immens zijn. Falende wetenschap kan veelbelovend onderzoek de grond in boren, onderzoekers ontmoedigen en het vertrouwen van het publiek in de wetenschap aantasten.
Eerder onderzoek, zoals Grootschalig onderzoek van de natuur van academici over generatieve AI in de wetenschap, gaf aan dat een diepere en progressieve integratie van AI in wetenschappelijke workflows onvermijdelijk is.
Deelnemers benadrukten tal van voordelen - 66% merkte op dat AI snellere gegevensverwerking mogelijk maakt, 58% geloofde dat het berekeningen verbetert en 55% zei dat het tijd en geld bespaart.
53% vond echter dat de resultaten niet reproduceerbaar zouden kunnen zijn, 58% maakte zich zorgen over vooroordelen en 55% dacht dat AI frauduleus onderzoek mogelijk zou kunnen maken.
We zagen bewijs hiervan toen onderzoekers een artikel gepubliceerd met onzin AI-gegenereerde diagrammen in het tijdschrift Frontiers - een rat met gigantische testikels, niet minder. Het was komisch, maar het liet zien hoe peer review zelfs overduidelijk gebruik van AI niet opmerkt.
Uiteindelijk is AI, zoals elk gereedschap, slechts zo veilig en effectief als de mens erachter. Onzorgvuldig gebruik, zelfs onbedoeld, kan de wetenschap op een dwaalspoor brengen.
De nieuwe richtlijnen zijn bedoeld om "eerlijke mensen eerlijk te houden", zoals Narayanan het uitdrukte.
Wijdverspreide toepassing door onderzoekers, beoordelaars en tijdschriften kan een nieuwe norm stellen voor wetenschappelijke integriteit in het tijdperk van AI.
Het zal echter een hele uitdaging zijn om consensus te bereiken, vooral omdat de reproduceerbaarheidscrisis al onder de radar vliegt.
