Kunstig intelligens er i ferd med å forandre vitenskapelig forskning, men uten riktig veiledning kan den gjøre mer skade enn nytte.
Det er den spissformulerte konklusjonen i en nytt papir publisert i Science Advances av et tverrfaglig team på 19 forskere ledet av dataforskerne Arvind Narayanan og Sayash Kapoor ved Princeton University.
Teamet hevder at misbruk av maskinlæring på tvers av vitenskapelige disipliner gir næring til en reproduserbarhetskrise som truer med å undergrave selve grunnlaget for vitenskapen.
"Når vi går fra tradisjonelle statistiske metoder til maskinlæringsmetoder, er det langt flere måter å skyte seg selv i foten på", sier han. sa Narayanan, som leder Princetons senter for informasjonsteknologi.
"Hvis vi ikke griper inn for å forbedre de vitenskapelige standardene og rapporteringsstandardene våre når det gjelder maskinlæringsbasert forskning, risikerer vi at ikke bare én disiplin, men mange ulike vitenskapelige disipliner gjenoppdager disse krisene, den ene etter den andre."
Ifølge forfatterne er problemet at maskinlæring raskt har blitt tatt i bruk på nesten alle vitenskapelige felt, ofte uten klare standarder for å sikre integriteten og reproduserbarheten av resultatene.
De fremhever at tDet er allerede publisert tusenvis av artikler som bruker feilaktige maskinlæringsmetoder.
Men teamet fra Princeton sier at det fortsatt er tid til å unngå denne forestående krisen. De har lagt frem en enkel sjekkliste over beste praksis som, hvis den blir tatt i bruk, kan sikre påliteligheten til maskinlæring i vitenskapen.
Sjekklisten, kalt REFORMS (Recommendations for Machine-learning-based Science), består av 32 spørsmål fordelt på åtte nøkkelområder:
- Mål for studien: Gjør klart rede for den vitenskapelige påstanden som fremsettes, og hvordan maskinlæring vil bli brukt til å underbygge den. Begrunn valget av maskinlæring fremfor tradisjonelle statistiske metoder.
- Reproduserbarhet i beregningene: Lever koden, dataene, spesifikasjonene for databehandlingsmiljøet, dokumentasjonen og et reproduksjonsskript som er nødvendig for at andre skal kunne reprodusere studiens resultater på egen hånd.
- Datakvalitet: Dokumenter datakildene, utvalgsrammen, utfallsvariablene, utvalgsstørrelsen og mengden manglende data. Begrunn at datasettet er hensiktsmessig og representativt for den vitenskapelige problemstillingen.
- Forbehandling av data: Rapporter hvordan data ble renset, transformert og delt inn i trenings- og testsett. Gi en begrunnelse for eventuelle data som ble ekskludert.
- Modellering: Beskriv og begrunn alle modeller som er prøvd, metoden som ble brukt for å velge de(n) endelige modellen(e), og hyperparameterinnstillingsprosessen. Sammenlign ytelsen mot passende referanseverdier.
- Datalekkasje: Kontroller at modelleringsprosessen ikke utilsiktet har brukt informasjon fra testdataene, og at inndatafunksjonene ikke lekker utfallet.
"Dette er et systematisk problem med systematiske løsninger", forklarer Kapoor.
Men kostnadene ved å gjøre feil kan være enorme. Feilaktig forskning kan føre til at lovende forskning går i vasken, at forskere mister motet, og at allmennhetens tillit til vitenskapen svekkes.
Tidligere forskning, som for eksempel Naturens storstilte undersøkelse av akademikere om generativ AI i vitenskapen, indikerte at en dypere og mer progressiv integrering av AI i vitenskapelige arbeidsflyter er uunngåelig.
Deltakerne fremhevet en rekke fordeler - 66% påpekte at AI muliggjør raskere databehandling, 58% mente at det forbedrer beregningene, og 55% sa at det sparer tid og penger.
53% mente imidlertid at resultatene kunne være umulige å gjenskape, 58% var bekymret for skjevheter, og 55% mente at kunstig intelligens kunne muliggjøre uredelig forskning.
Vi observerte bevis på dette da forskere publiserte en artikkel med tåpelige AI-genererte diagrammer i tidsskriftet Frontiers - en rotte med gigantiske testikler, intet mindre. Komisk, men det viste hvordan fagfellevurdering kanskje ikke engang fanger opp åpenbar bruk av kunstig intelligens.
Som alle andre verktøy er kunstig intelligens til syvende og sist bare så trygt og effektivt som mennesket bak det. Uforsiktig bruk, selv om det ikke er tilsiktet, kan føre vitenskapen på villspor.
De nye retningslinjene tar sikte på å holde "ærlige mennesker ærlige", som Narayanan uttrykte det.
Hvis forskere, fagfeller og tidsskrifter tar det i bruk i stor skala, kan det sette en ny standard for vitenskapelig integritet i AI-tidsalderen.
Det vil imidlertid være utfordrende å skape konsensus, særlig siden reproduserbarhetskrisen allerede flyr under radaren.
