En ny maskinlæringsmodel slår AI-tekstdetekteringsmodeller for artikler inden for kemi.
Undersøgelsen, der blev udgivet i Cellerapporter Fysisk videnskabbeskriver en AI-tekstklassifikator, der overgår to andre populære AI-detektionssystemer, herunder ZeroGPT.
Modellen undersøger 20 stilistiske træk ved skrivning, såsom variation i sætningslængde og specifik brug af ord og tegnsætning, for at vurdere, om et stykke er skrevet af en akademiker eller af ChatGPT.
Forskerne trænede modellen på introduktionerne fra 100 publicerede artikler på tværs af ti kemitidsskrifter fra American Chemical Society (ACS). Forskerne bad derefter ChatGPT-3.5 om at lave 200 introduktioner i en stil, der var i overensstemmelse med ACS-tidsskrifterne, og leverede titlerne til halvdelen og abstracts til den anden halvdel.
Ved evalueringen identificerede detektoren fejlfrit 100% af de introduktioner, der var forfattet af ChatGPT, baseret på titler. Ved analyse af introduktioner genereret fra abstracts blev nøjagtigheden reduceret en smule til 98%.
Detektorens færdigheder var konsistente, selv med tekst fra GPT-4-modellen. Den blev sammenlignet med ZeroGPT og et tekstklassificeringsværktøj fra OpenAI, som begge viste betydeligt lavere nøjagtighed.
Undersøgelsens medforfatter, Heather Desaire, der er kemiker ved University of Kansas i Lawrence, understregede det unikke fokus i deres værktøj: "De fleste inden for tekstanalyse ønsker en virkelig generel detektor, der fungerer på alt. Vi gik virkelig efter nøjagtighed ved at lave et værktøj, der fokuserer på en bestemt type papir."
Selvom værktøjet viste sin styrke på tværs af forskellige tidsskriftstilarter og spørgsmål, er det meget specialiseret til videnskabelige artikler og var mindre effektivt med materiale fra universitetsaviser.
Da AI'en kun blev anvendt på introduktioner og abstracts, ville den ikke fungere effektivt på en hel artikel.
Mere om undersøgelsen
I betragtning af den dårlige præstation blandt eksisterende AI-skriftdetektorer og den kontrovers, de forårsager, er enhver model med en nøjagtighedsgrad på næsten 100% meget interessant.
- Denne AI-tekstdetektor blev designet til videnskabelige tidsskriftartikler, især kemitidsskrifter, og viste en bemærkelsesværdig nøjagtighed i at skelne mellem menneskelig og AI-genereret tekst, herunder GPT-4-tekst.
- Detektoren, der bruger en XGBoost-maskinlæringsalgoritme baseret på 20 forskellige tekstfunktioner, overgår de nuværende AI-detektionsværktøjer og viser en nøjagtighedsgrad på 98%-100%.
- Værktøjet identificerede med succes AI-genereret tekst i forskellige testscenarier, selv med beskeder, der var designet til at skjule brugen af AI, hvilket indikerer robusthed over for forskellige skrivestile og kompleksiteter.
Men med et så lille træningsdatasæt må man sige, at denne tilgang virker sårbar over for overtilpasning, hvilket betyder, at modellen måske fungerer usædvanligt godt for de anvendte data, men udviser dårlig ydeevne uden for det.
Desuden kan der være en implicit bias i retning af at mærke tekst som menneskeskrevet i tvetydige tilfælde, da detektoren er udviklet til at fange AI-genereret tekst, hvilket muligvis prioriterer falske negativer frem for falske positiver.
