Een nieuw machine-learning model verslaat AI-tekstdetectiemodellen voor papers op het gebied van chemie.
Het onderzoek, gepubliceerd in Celverslagen Fysische Wetenschappenbeschrijft een AI-tekstclassificator die de prestaties van twee andere populaire AI-detectiesystemen overtreft, waaronder ZeroGPT.
Het model bekijkt 20 stijlkenmerken van schrijfsels, zoals variatie in zinslengte en specifiek woord- en interpunctiegebruik, om te beoordelen of een stuk is geschreven door een academicus of door ChatGPT.
Onderzoekers trainden het model op de inleidingen van 100 gepubliceerde artikelen in tien scheikundige tijdschriften van de American Chemical Society (ACS). De onderzoekers vroegen ChatGPT-3.5 vervolgens om 200 inleidingen te maken in een stijl die consistent was met ACS-tijdschriften, waarbij ze voor de helft de titels en voor de andere helft de samenvattingen leverden.
Bij evaluatie identificeerde de detector foutloos 100% van de inleidingen die door ChatGPT waren geschreven op basis van titels. Bij het analyseren van introducties gegenereerd uit samenvattingen was de nauwkeurigheid iets minder tot 98%.
De vaardigheid van de detector was consistent, zelfs met tekst van het GPT-4 model. Het werd vergeleken met ZeroGPT en een tekstclassificatietool van OpenAI, die beide een significant lagere nauwkeurigheid lieten zien.
Heather Desaire, co-auteur van het onderzoek en scheikundige aan de Universiteit van Kansas in Lawrence, benadrukte de unieke focus van hun hulpmiddel: "Het merendeel van het veld van tekstanalyse wil een echt algemene detector die op alles werkt. Wij gingen echt voor nauwkeurigheid door een hulpmiddel te maken dat zich richt op een bepaald soort papier."
Hoewel de tool zijn kracht liet zien bij verschillende tijdschriftstijlen en prompts, is het zeer gespecialiseerd in wetenschappelijke artikelen en was het minder effectief met materiaal uit universiteitskranten.
Omdat de AI alleen werd toegepast op inleidingen en samenvattingen, zou het niet effectief werken op een hele paper.
Meer over het onderzoek
Gezien de slechte prestaties van bestaande AI-schrijfdetectors en de controverse die ze veroorzaken, is elk model met een nauwkeurigheid van bijna 100% erg interessant.
- Deze AI-tekstdetector is ontworpen voor wetenschappelijke tijdschriftartikelen, met name scheikundige tijdschriften, en toont een opmerkelijke nauwkeurigheid in het onderscheiden van menselijke en AI-gegenereerde tekst, inclusief GPT-4-tekst.
- De detector, die gebruik maakt van een XGBoost machine learning algoritme gebaseerd op 20 verschillende tekstkenmerken, presteert beter dan de huidige AI-detectietools en heeft een nauwkeurigheid van 98%-100%.
- De tool identificeerde met succes AI-gegenereerde tekst in verschillende testscenario's, zelfs met prompts die waren ontworpen om het gebruik van AI te verbergen, wat duidt op robuustheid tegen verschillende schrijfstijlen en complexiteiten.
Met zo'n kleine trainingsdataset moet je echter zeggen dat deze aanpak kwetsbaar lijkt voor overfitting, wat betekent dat het model uitzonderlijk goed kan werken voor de gebruikte gegevens, maar daarbuiten slechte prestaties kan laten zien.
Bovendien kan er een impliciete vooringenomenheid zijn om tekst in dubbelzinnige gevallen als door mensen geschreven te labelen, aangezien de detector wordt ontwikkeld om door AI gegenereerde tekst op te vangen, waarbij mogelijk prioriteit wordt gegeven aan fout-negatieven boven fout-positieven.
