En studie av Copyleaks visade att hela 60% av utdata från OpenAI:s GPT-3.5 uppvisade tecken på plagiat.
Copyleaks, som utvecklar verktyg för analys av plagiat och AI-innehåll, lyfter fram AI-genererad texts tvivelaktiga originalitet och tillförlitlighet, särskilt mot bakgrund av den senaste tidens intrång i upphovsrätt och plagiatkontroverser.
I studien analyserades 1 045 utdata från GPT-3.5, som spänner över 26 akademiska och kreativa ämnen, inklusive men inte begränsat till fysik, kemi, datavetenskap, psykologi, juridik och humaniora, där varje utdata i genomsnitt var 412 ord lång.
Resultaten av Copyleaks rapport inkluderar följande:
- Cirka 59,7% av alla GPT-3.5-genererade texter visade sig innehålla plagierat innehåll i någon grad.
- 45,7% av utdata innehöll exakta textmatchningar, 27,4% innehöll mindre ändringar och 46,5% innehöll parafraseringar från befintliga källor.
- Ämnet datavetenskap hade den högsta "Similarity Score" för enskilda utdata, cirka 100%, vilket visar på ett stort problem inom områden som är starkt beroende av tekniskt och specialiserat språk.
Studiens "Similarity Score" är ett egenutvecklat mått som utformats av Copyleaks för att kvantifiera graden av originalitet i innehåll. Det sammanför olika faktorer, till exempel identisk text och parafrasering.
Fysik hade den högsta genomsnittliga Similarity Score på 31,3%, med psykologi inte långt efter på 27,7% och allmän vetenskap på 26,7%. I den motsatta änden av spektrumet hade teater den lägsta genomsnittliga poängen på bara 0,9%, följt av humaniora på 2,8% och engelska språket på 5,4%.
Spridningen av likhetspoäng mellan olika ämnen är inte särskilt förvånande. Det finns nästan obegränsat med sätt att tolka en Shakespeare-pjäs och betydligt färre sätt att analysera ett väletablerat matematiskt teorem, till exempel.
Alon Yamin, VD och medgrundare av Copyleaks, säger att ämnen som fysik, kemi, datavetenskap och psykologi bör granskas närmare för plagiat på grund av sina högre poäng.
"Till exempel kan fysik, kemi, matematik och psykologi kräva en mer djupgående granskning för att identifiera plagierad text, medan andra ämnen, inklusive teater och humaniora, kan kräva mindre granskning", säger Yamin.
Lärare måste dock inse att vissa ämnen naturligt lämpar sig för höga poäng på likheter.
Yamin sa också: "Dessutom understryker uppgifterna behovet för organisationer att anta lösningar som upptäcker förekomsten av AI-genererat innehåll och ger den nödvändiga transparensen kring potentiell plagiering i AI-innehållet."
Det är en bra poäng. Om utbildningsorganisationer tillåter AI att utarbeta och generera innehåll (och vissa är det redan) kan studenterna fortfarande utsättas för plagiat.
Det måste också sägas att poäng för GPT-4-genererat innehåll skulle ha visat lägre plagiatpoäng.
Även om huvuddelen av det AI-genererade innehållet förmodligen fortfarande skapas med GPT-3.5 (eftersom det är gratis), är GPT-4 utan tvekan mer effektivt när det gäller att generera originalarbete.
Detta medför dock ytterligare ett lager av komplexitet.
Eftersom GPT-4 är en del av den betalda versionen av ChatGPT kan acceptans eller uppmuntran av AI-användning i utbildning diskriminera användare av GPT-3.5 om inte abonnemangen subventioneras.
En ömtålig balans
I takt med att generativa AI-verktyg blir allt vanligare i akademiska miljöer blir både lärare och studenter förvirrade över hur de ska användas.
Innehållsanalysföretag som Copyleaks och Turnitin har utvecklat AI-detekteringsverktyg som förutspår när en ordsträng sannolikt är AI-genererad. Dessa har dock uppenbara svagheter och riskerar att ge falska positiva resultat.
Vidare har programvara för AI-detektering visat sig starkt gynna modersmål på engelskaeftersom den ofta innehåller en högre koncentration av olika ordförråd och idiom för att påverka AI-detektorer att märka texten som "mänskligt skriven".
Det kommer inte att bli lätt att begränsa användningen av AI-teknik inom den akademiska världen. Generativ AI marknadsförs som det ultimata produktivitetsverktyget, och många hävdar att om man kan använda det så ska man göra det.
Studenter hävdar ofta att om dessa verktyg är allmänt förekommande i den verkliga världen bör de också tillåtas i utbildningssammanhang.
Dessutom, som många kan intyga, handlar utbildning ibland om att hitta uppfinningsrika genvägar för att få saker gjorda.
Kan du verkligen förvänta dig att studenterna ska lämna generativ AI orörd på bordet?
