Ny forskning tyder på, at ChatGPT kan udkonkurrere elever i specifikke fagområder, narre lærere i processen og undgå AI-detektorer.
En undersøgelse ledet af Yasir Zaki ved New York University Abu Dhabi viste, at ChatGPT's svar svarede til eller overgik kvaliteten af de studerendes svar i ni ud af 32 fag.
Især scorede chatbotten næsten dobbelt så højt som den gennemsnitlige studerende i et kursus kaldet Introduction to Public Policy.
Der var dog huller i AI'ens rustning, da ChatGPT kæmpede med opgaver, der krævede "kritisk analyse". Og lad os ikke glemme, at menneskelige studerende generelt dominerede.
Alligevel mindskes kløften mellem AI-genereret og menneskeligt arbejde, hvilket har potentielt dramatiske konsekvenser for uddannelsessektoren og menneskelige videnssystemer som helhed.
Interessant nok var ChatGPT ret dårlig til opgaver, der krævede færdigheder eller viden om programmering og datalogi, men udmærkede sig inden for samfundsforskning, politik og teknik.
De 32 fag dækkede emner som datalogi, matematik, sociologi, psykologi, statskundskab og erhvervsliv. Derudover undersøgte undersøgelsen studerende og undervisere fra fem lande - Brasilien, Indien, Japan, Storbritannien og USA - for at måle deres perspektiver på teknologiens brug i undervisningen.
"Disse bedømmere blev ikke gjort opmærksomme på kilderne til disse svar, og de var heller ikke klar over formålet med bedømmelsen", siger Zaki.
"ChatGPT klarede sig meget bedre på spørgsmål, der krævede genkaldelse af information, men klarede sig dårligt på spørgsmål, der krævede kritisk analyse", siger Zaki.
Desuden fandt forskerne ud af, at AI-detekteringstjenester dårligt kan skelne mellem menneskelige og AI-genererede svar med en succesrate på 95%.
Undersøgelsen af de studerendes og undervisernes holdning til kunstig intelligens i undervisningen afslørede en polarisering i forhold til, om brugen af kunstig intelligens udgør plagiat eller ej.
Thomas Lancaster fra Imperial College London udtalte sig om undersøgelsens konsekvenser. Ifølge ham afslører resultaterne fejl i den nuværende tilgang til universitetsevalueringer. "Hvis [bedre svar] er mulige [med ChatGPT], tyder det på, at der er fejl i vurderingsdesignet."
Vigtige resultater
Dette mangesidede studie undersøgte ChatGPT's ydeevne og indsamlede yderligere oplysninger om kvalitative meninger om teknologien.
Her er de vigtigste resultater:
- Akademisk præstation: ChatGPT's præstationer var sammenlignelige eller bedre end universitetsstuderendes i 9 ud af 32 kurser på tværs af otte discipliner.
- Der mangler detektionsalgoritmer: Nuværende algoritmer, herunder GPTZero, der er designet til at opdage ChatGPT-genereret tekst, er stort set ineffektive. Disse algoritmer fejlklassificerer ikke kun menneskelige svar som AI-genererede, men identificerer heller ikke korrekt ChatGPT-genereret indhold som sådan.
- Elevernes og lærernes synspunkter: Der er en tilsyneladende uoverensstemmelse mellem studerende og undervisere om de etiske konsekvenser af at bruge ChatGPT. De studerende har overvejende til hensigt at bruge værktøjet til skolearbejde, mens underviserne er tilbøjelige til at behandle brugen af det som plagiat.
- Globale perspektiver: Undersøgte studerende og undervisere fra fem lande (Brasilien, Indien, Japan, Storbritannien og USA) viste forskellige meninger om den etiske brug af ChatGPT. For eksempel mener studerende i Indien, at det er uetisk at bruge det til lektier, mens studerende i Brasilien mener, at det er etisk forsvarligt. Men 94% af de studerende i begge lande har til hensigt at bruge ChatGPT til akademiske formål.
AI's rolle i uddannelse har udviklet sig til en hvirvlende debat, hvor de studerende måske har de bedste forudsætninger for at udnytte teknologien, mens underviserne opdaterer deres forståelse.
Det har ført til nogle pinlige situationer, som da en professor fra Texas A&M nægtede at markere sine klasseopgaver, da han mente, at de var AI-genererede.
En ting er sikkert: AI vil blive mere fast forankret i uddannelse, til gavn eller ulempe.
