En undersøgelse foretaget af Copyleaks viste, at svimlende 60% af resultaterne fra OpenAI's GPT-3.5 udviste tegn på plagiat.
Copyleaks, der udvikler værktøjer til analyse af plagiat og AI-indhold, fremhæver AI-genererede teksters tvivlsomme originalitet og pålidelighed, især i lyset af den seneste tids Krænkelse af ophavsret og plagiatkontroverser.
Undersøgelsen analyserede 1.045 output fra GPT-3.5, der spænder over 26 akademiske og kreative fag, herunder, men ikke begrænset til, fysik, kemi, datalogi, psykologi, jura og humaniora, og hvert output havde en gennemsnitlig længde på 412 ord.
Resultaterne af Copyleaks-rapport omfatter følgende:
- Omkring 59,7% af alle GPT-3.5-genererede tekster viste sig at indeholde plagieret indhold i en eller anden grad.
- 45,7% af outputtet indeholdt nøjagtige tekstmatch, 27,4% indeholdt små ændringer, og 46,5% involverede parafrasering fra allerede eksisterende kilder.
- Især faget datalogi oplevede den højeste individuelle "Similarity Score" på omkring 100%, hvilket understreger en betydelig bekymring inden for områder, der er stærkt afhængige af teknisk og specialiseret sprog.
Undersøgelsens "Similarity Score" er en proprietær metrik designet af Copyleaks til at kvantificere graden af originalitet i indhold. Den kombinerer forskellige faktorer, som f.eks. identisk tekst og parafrasering.
Fysik havde den højeste gennemsnitlige lighedsscore på 31,3%, med psykologi ikke langt efter på 27,7% og almen videnskab på 26,7%. I den modsatte ende af spektret havde teater den laveste gennemsnitlige score på kun 0,9%, efterfulgt af humaniora på 2,8% og engelsk på 5,4%.
Spredningen af lighedsscorer på tværs af emner er ikke særlig overraskende. Der er næsten ubegrænsede måder at fortolke et Shakespeare-stykke på og langt færre til at analysere et veletableret matematisk teorem, for eksempel.
Alon Yamin, CEO og medstifter af Copyleaks, sagde, at fag som fysik, kemi, datalogi og psykologi bør undersøges nærmere for plagiat på grund af deres højere score.
"For eksempel kan fysik, kemi, matematik og psykologi kræve en mere dybdegående undersøgelse for at identificere plagieret tekst, mens andre fag, herunder teater og humaniora, kan kræve mindre granskning," siger Yamin.
Undervisere må dog erkende, at nogle fag naturligt egner sig til høje lighedsscorer.
Yamin sagde også: "Desuden understreger dataene behovet for, at organisationer vedtager løsninger, der opdager tilstedeværelsen af AI-genereret indhold og giver den nødvendige gennemsigtighed omkring potentielt plagiat i AI-indholdet."
Det er en god pointe. Hvis uddannelsesorganisationer tillader AI at udarbejde og generere indhold (og nogle er det allerede), kan de studerende stadig blive udsat for plagiat.
Det skal også siges, at scores for GPT-4-genereret indhold ville have vist lavere plagiatscores.
Mens størstedelen af det AI-genererede indhold sandsynligvis stadig skabes med GPT-3.5 (fordi det er gratis), er GPT-4 utvivlsomt mere effektiv til at skabe originalt arbejde.
Men det introducerer endnu et lag af kompleksitet.
Da GPT-4 er en del af den betalte version af ChatGPT, kan accept eller opfordring til brug af AI i undervisningen diskriminere GPT-3.5-brugere, medmindre der ydes tilskud til abonnementet.
En delikat balance
Efterhånden som generative AI-værktøjer bliver integreret i akademiske miljøer, er både undervisere og studerende forvirrede over brugen af dem.
Indholdsanalysefirmaer som Copyleaks og Turnitin har udviklet AI-detekteringsværktøjer, der forudsiger, hvornår en ordrække sandsynligvis er AI-genereret. Men de har åbenlyse svagheder og risikerer falske positiver.
Desuden har AI-detektionssoftware vist sig at foretrækker i høj grad at skrive på engelskda den ofte indeholder en højere koncentration af forskellige ord og udtryk, der kan få AI-detektorer til at stemple teksten som "menneskeskrevet".
Det bliver ikke let at bremse brugen af AI-teknologi i den akademiske verden. Generativ AI markedsføres som det ultimative produktivitetsværktøj, og mange hævder, at hvis man kan bruge det, bør man gøre det.
Studerende hævder ofte, at hvis disse værktøjer er udbredte i den virkelige verden, bør de også være tilladt i undervisningssammenhænge.
Og som mange vil bevidne, handler uddannelse nogle gange om at finde opfindsomme genveje til at få tingene gjort.
Kan man virkelig forvente, at de studerende lader generativ AI ligge urørt på bordet?
