Flere universiteter, herunder Vanderbilt, Michigan State, Northwestern og University of Texas i Austin, afholder sig fra at bruge Turnitin, som registrerer AI-genereret indhold i studerendes afleveringer.
Turnitin, der er kendt for sine værktøjer til at opdage plagiat, introducerede i april en funktion til at identificere maskinskrevet indhold.
Men de nuværende AI-modeller som f.eks. GPT-4 undgår ofte at blive opdagetog ægte menneskeskrevet indhold bliver ofte fejlagtigt markeret for at være plagieret.
Sidstnævnte er mere bekymrende for universiteter og højere læreanstalter, da det kan føre til falske anklager og endda juridiske konsekvenser.
Desuden tyder undersøgelser på, at de, der taler engelsk som andetsprog eller ikke har det som modersmål er betydeligt mere tilbøjelige til at få deres arbejde markeret som AI-genereret.
Når den er aktiveret, evaluerer AI-detekteringssoftware dokumenter, nedbryder teksten og tildeler point baseret på, om indholdet virker menneskeligt eller AI-genereret.
Der er blevet sat spørgsmålstegn ved nøjagtigheden af Turnitins AI-detektion. Michael Coley, konsulent i undervisningsteknologi ved Vanderbilt University, bemærkede: "Der er et større spørgsmål om, hvordan Turnitin opdager AI-skrivning, og om det overhovedet er muligt. Til dato giver Turnitin ingen detaljerede oplysninger om, hvordan de afgør, om et stykke tekst er AI-genereret. De har højst sagt, at værktøjet leder efter mønstre, der er almindelige i AI-skrivning, men de forklarer eller definerer ikke, hvad disse mønstre er."
Vanderbilt University understregede, at selv en falsk positiv rate på mindre end en procent, som Turnitin hævder, kunne resultere i, at 750 artikler blev markeret forkert årligt, da de behandlede 75.000 artikler ved hjælp af Turnitin i 2022.
Coley udtrykte desuden bekymring for datasikkerhed og sagde: "Der er reelle bekymringer for datasikkerheden, når man tager elevdata og lægger dem ind i en detektor, der administreres af en ekstern virksomhed med uklare politikker for datasikkerhed og dataanvendelse. AI-detektion er en udfordring, og kompleksiteten vil kun stige i takt med, at AI-værktøjerne udvikler sig. Vi ser ikke AI-detektionssoftware som et effektivt værktøj."
Annie Chechitelli, Turnitins produktchef, understregede, at deres AI-flagging-værktøj ikke skal bruges til automatisk at straffe studerende.
Hun sagde: "Hos Turnitin er vores vejledning, at der ikke er nogen erstatning for at forstå en elevs skrivestil og baggrund. Vores teknologi er ikke beregnet til at erstatte undervisernes dømmekraft. Rapporter om AI-skrivningstilstedeværelse er beregnet til at lette diskussioner med studerende, ikke til at konkludere forseelser."
Fremtidige generationer af AI-modeller vil kun blive mere sofistikerede og bedre i stand til at undgå AI-detektorer, som allerede har fået afsløret deres begrænsninger.
AI's rolle i uddannelse vil helt sikkert blive testet yderligere.
