f\u00f6r att ta reda p\u00e5 om chatboten kunde ge tydlig och objektiv feedback p\u00e5 forskningsartiklar. De anv\u00e4nde GPT-4 f\u00f6r att granska \u00f6ver 3 000 manuskript fr\u00e5n Nature och mer \u00e4n 1 700 artiklar fr\u00e5n International Conference on Learning Representations (ICLR).\u00a0<\/span><\/p>\nN\u00e4r de j\u00e4mf\u00f6rde ChatGPT:s feedback med m\u00e4nskliga granskares feedback p\u00e5 samma artiklar fann de att \u00f6ver 50% av AI:s kommentarer p\u00e5 Nature-artiklarna och mer \u00e4n 77% p\u00e5 ICLR-artiklarna \u00f6verensst\u00e4mde med de punkter som tagits upp av m\u00e4nskliga granskare.<\/span><\/p>\nTeamet ut\u00f6kade experimentet och anv\u00e4nde ocks\u00e5 ChatGPT f\u00f6r att bed\u00f6ma flera hundra \u00e4nnu inte peer-reviewed artiklar p\u00e5 preprint-servrar. <\/span><\/p>\nGenom att samla in feedback fr\u00e5n 308 f\u00f6rfattare inom AI och ber\u00e4kningsbiologi fann de att \u00f6ver 82% av dem ans\u00e5g att ChatGPT:s feedback generellt sett var mer f\u00f6rdelaktig \u00e4n en del av den tidigare feedback de f\u00e5tt fr\u00e5n m\u00e4nskliga granskare.<\/span><\/p>\nTrots dessa lovande resultat kvarst\u00e5r farh\u00e5gor om AI:s f\u00f6rm\u00e5ga att ge nyanserad och tekniskt detaljerad feedback.\u00a0<\/span><\/p>\nDessutom kan ChatGPT:s feedback vara of\u00f6ruts\u00e4gbar, med varierande resultat beroende p\u00e5 inneh\u00e5llet i studien.<\/p>\n
Zou erk\u00e4nner dessa begr\u00e4nsningar och noterar att vissa forskare tyckte att ChatGPT:s feedback var alltf\u00f6r vag. <\/span><\/p>\nForskarna f\u00f6rblev optimistiska om att GPT-4 kan hj\u00e4lpa till med en del av det tunga arbetet i peer-review-processen genom att flagga f\u00f6r mer uppenbara fel och inkonsekvenser.\u00a0<\/span><\/p>\n