for at finde ud af, om chatbotten kunne levere klar, objektiv feedback p\u00e5 forskningsartikler. De brugte GPT-4 til at gennemg\u00e5 over 3.000 manuskripter fra Nature og mere end 1.700 artikler fra International Conference on Learning Representations (ICLR).\u00a0<\/span><\/p>\nDa de sammenlignede ChatGPT's feedback med menneskelige anmelderes feedback p\u00e5 de samme artikler, fandt de ud af, at over 50% af AI'ens kommentarer til Nature-artiklerne og mere end 77% til ICLR-artiklerne stemte overens med de punkter, der blev rejst af de menneskelige anmeldere.<\/span><\/p>\nI forl\u00e6ngelse af eksperimentet brugte teamet ogs\u00e5 ChatGPT til at vurdere flere hundrede endnu ikke peer-reviewede artikler p\u00e5 preprint-servere. <\/span><\/p>\nVed at indsamle feedback fra 308 forfattere inden for AI og beregningsbiologi fandt de ud af, at over 82% af dem mente, at ChatGPT's feedback generelt var mere gavnlig end noget af den feedback, de tidligere havde f\u00e5et fra menneskelige bed\u00f8mmere.<\/span><\/p>\nP\u00e5 trods af disse lovende resultater er der stadig bekymring for AI'ens evne til at give nuanceret og teknisk detaljeret feedback.\u00a0<\/span><\/p>\nDesuden kan ChatGPT's feedback v\u00e6re uforudsigelig med varierende resultater afh\u00e6ngigt af unders\u00f8gelsens indhold.<\/p>\n
Zou anerkender disse begr\u00e6nsninger og bem\u00e6rker, at nogle forskere fandt ChatGPT's feedback alt for vag. <\/span><\/p>\nForskerne forblev optimistiske med hensyn til, at GPT-4 kan hj\u00e6lpe med nogle af de tunge l\u00f8ft i peer-review-processen ved at p\u00e5pege mere \u00e5benlyse fejl og uoverensstemmelser.\u00a0<\/span><\/p>\n