for \u00e5 finne ut om chatboten kunne gi klare, objektive tilbakemeldinger p\u00e5 forskningsartikler. De brukte GPT-4 til \u00e5 gjennomg\u00e5 over 3000 manuskripter fra Nature og mer enn 1700 artikler fra International Conference on Learning Representations (ICLR).\u00a0<\/span><\/p>\nVed \u00e5 sammenligne ChatGPTs tilbakemeldinger med tilbakemeldinger fra menneskelige anmeldere p\u00e5 de samme artiklene fant de at over 50% av AI-kommentarene p\u00e5 Nature-artiklene og mer enn 77% p\u00e5 ICLR-artiklene stemte overens med punktene som ble tatt opp av menneskelige anmeldere.<\/span><\/p>\nTeamet utvidet eksperimentet ved \u00e5 bruke ChatGPT til \u00e5 vurdere flere hundre enn\u00e5 ikke fagfellevurderte artikler p\u00e5 preprint-servere. <\/span><\/p>\nDe samlet inn tilbakemeldinger fra 308 forfattere innen AI og beregningsbiologi, og fant at over 82% av dem mente at ChatGPTs tilbakemeldinger generelt var mer fordelaktige enn noen av de tidligere tilbakemeldingene de hadde f\u00e5tt fra menneskelige korrekturlesere.<\/span><\/p>\nTil tross for disse lovende resultatene, er det fortsatt usikkerhet knyttet til AI-enes evne til \u00e5 gi nyanserte og teknisk detaljerte tilbakemeldinger.\u00a0<\/span><\/p>\nChatGPTs tilbakemeldinger kan dessuten v\u00e6re uforutsigbare, med varierende resultater avhengig av innholdet i unders\u00f8kelsen.<\/p>\n
Zou erkjenner disse begrensningene, og bemerker at noen forskere mente at ChatGPTs tilbakemeldinger var for vage. <\/span><\/p>\nForskerne var optimistiske med tanke p\u00e5 at GPT-4 kan hjelpe til med noe av det tunge arbeidet i fagfellevurderingsprosessen, ved \u00e5 p\u00e5peke mer \u00e5penbare feil og uoverensstemmelser.\u00a0<\/span><\/p>\n