Flere universiteter, deriblant Vanderbilt, Michigan State, Northwestern og University of Texas i Austin, avstår fra å bruke Turnitin, som oppdager AI-generert innhold i studenters innleveringer.
Turnitin, som er kjent for sine verktøy for å oppdage plagiat, lanserte i april en funksjon for å identifisere maskinskrevet innhold.
Men dagens AI-modeller, som f.eks. GPT-4 unngår ofte å bli oppdagetog ekte, menneskeskrevet innhold blir ofte feilaktig flagget som plagiat.
Det siste er mer bekymringsfullt for universiteter og høyskoler, og kan føre til falske anklager og til og med juridiske konsekvenser.
Studier tyder dessuten på at de som snakker engelsk som morsmål, har andrespråk eller ikke har det som morsmål har betydelig større sannsynlighet for å få arbeidet sitt markert som AI-generert.
Når den er aktivert, evaluerer programvaren for AI-deteksjon dokumenter, bryter ned teksten og tildeler poeng basert på om innholdet ser ut til å være menneskeskapt eller AI-generert.
Det har blitt stilt spørsmål ved nøyaktigheten av Turnitins AI-deteksjon. Michael Coley, en konsulent innen undervisningsteknologi ved Vanderbilt University, bemerket: "Det er et større spørsmål om hvordan Turnitin oppdager AI-skriving, og om det i det hele tatt er mulig. Hittil har Turnitin ikke gitt noen detaljert informasjon om hvordan de avgjør om en tekst er AI-generert. Det eneste de har sagt, er at verktøyet ser etter mønstre som er vanlige i AI-skriving, men de forklarer eller definerer ikke hva disse mønstrene er."
Vanderbilt University fremhevet at selv en falsk positiv rate på mindre enn én prosent, slik Turnitin hevder, kan føre til at 750 artikler blir feilaktig flagget årlig, gitt at de behandlet 75 000 artikler ved hjelp av Turnitin i 2022.
Coley uttrykte videre bekymring for personvernet: "Det er en reell bekymring for personvernet å ta elevdata og legge dem inn i en detektor som administreres av et eksternt selskap med uklare retningslinjer for personvern og databruk. AI-deteksjon er utfordrende, og kompleksiteten vil bare øke etter hvert som AI-verktøyene utvikler seg. Vi ser ikke på programvare for AI-deteksjon som et effektivt verktøy."
Annie Chechitelli, produktsjef i Turnitin, understreket at AI-flaggingsverktøyet deres ikke skal brukes til å straffe studenter automatisk.
Hun uttalte: "Hos Turnitin er vår rettesnor at det ikke finnes noen erstatning for å forstå en students skrivestil og bakgrunn. Teknologien vår er ikke ment å erstatte lærernes dømmekraft. Rapporter om AI-skriving er ment å legge til rette for diskusjoner med studenter, ikke for å konkludere med dårlig oppførsel."
Fremtidige generasjoner av AI-modeller vil bare bli mer sofistikerte og bedre i stand til å unngå AI-detektorer, som allerede har fått avdekket sine begrensninger.
AIs rolle i utdanning vil helt sikkert bli testet ytterligere.
