Nieuw onderzoek suggereert dat ChatGPT beter kan presteren dan studenten in specifieke vakgebieden, waarbij ze docenten voor de gek houden en AI-detectors ontwijken.
Uit een onderzoek onder leiding van Yasir Zaki aan de New York University Abu Dhabi bleek dat de antwoorden van ChatGPT gelijk waren aan of beter waren dan de antwoorden van studenten in negen van de 32 onderwerpen.
Met name de chatbot scoorde bijna twee keer zo hoog als de gemiddelde student in een cursus met de naam Inleiding tot het overheidsbeleid.
Er waren echter zwakke plekken in het harnas van de AI, want ChatGPT worstelde met taken die 'kritische analyse' vereisten. En laten we niet vergeten dat menselijke studenten over het algemeen de overhand hadden.
Toch wordt de kloof tussen door AI gegenereerd en menselijk werk kleiner, wat mogelijk dramatische gevolgen heeft voor de onderwijssector en menselijke kennissystemen als geheel.
Interessant is dat ChatGPT vrij slecht was in taken die vaardigheden of kennis van programmeren en informatica vereisten, maar uitblonk in sociaal onderzoek, politiek en techniek.
De 32 onderwerpen bestreken onderwerpen zoals informatica, wiskunde, sociologie, psychologie, politieke wetenschappen en bedrijfskunde. Daarnaast werden studenten en docenten uit vijf landen - Brazilië, India, Japan, het Verenigd Koninkrijk en de Verenigde Staten - ondervraagd om hun kijk op het gebruik van de technologie in het onderwijs te peilen.
"Deze beoordelaars waren niet op de hoogte van de bronnen van deze antwoorden, noch waren ze op de hoogte van het doel van de beoordeling," zegt Zaki.
"ChatGPT presteerde veel beter op vragen waarbij informatie moest worden opgeroepen, maar presteerde slecht op vragen waarbij kritische analyse nodig was," zegt Zaki.
Verder ontdekten de onderzoekers dat AI-detectieservices slecht onderscheid maken tussen menselijke en AI-gegenereerde antwoorden met succespercentages van 95%.
De enquête waarin de gevoelens van studenten en docenten ten opzichte van AI in het onderwijs werden onderzocht, legde polarisatie bloot over de vraag of het gebruik van AI plagiaat is of niet.
Thomas Lancaster van het Imperial College in Londen gaf zijn mening over de implicaties van het onderzoek. Volgens hem leggen de bevindingen gebreken bloot in de huidige aanpak van universitaire beoordelingen. "Als [betere antwoorden] mogelijk zijn [met ChatGPT], suggereert dit dat er fouten zitten in het beoordelingsontwerp."
Belangrijkste bevindingen
Deze veelzijdige studie onderzocht de prestaties van ChatGPT en verzamelde aanvullende informatie over kwalitatieve meningen over de technologie.
Dit zijn de belangrijkste bevindingen:
- Academische prestaties: De prestaties van ChatGPT waren vergelijkbaar met of beter dan die van universiteitsstudenten in 9 van de 32 cursussen in acht vakgebieden.
- Detectiealgoritmen ontbreken: Huidige algoritmen, waaronder GPTZero, die zijn ontworpen om ChatGPT-gegenereerde tekst te detecteren, zijn grotendeels ineffectief. Deze algoritmen classificeren menselijke antwoorden niet alleen verkeerd als AI-gegenereerd, maar slagen er ook niet in ChatGPT-gegenereerde inhoud correct als zodanig te identificeren.
- Standpunten van studenten en docenten: Er is een duidelijke kloof tussen studenten en docenten over de ethische implicaties van het gebruik van ChatGPT. Studenten zijn overwegend van plan om de tool te gebruiken voor schoolwerk, terwijl docenten geneigd zijn om het gebruik ervan te behandelen als plagiaat.
- Wereldwijde perspectieven: Ondervraagde studenten en docenten uit vijf landen (Brazilië, India, Japan, het Verenigd Koninkrijk en de Verenigde Staten) hadden uiteenlopende meningen over het ethische gebruik van ChatGPT. Zo vinden studenten in India het gebruik voor huiswerk onethisch, terwijl studenten in Brazilië het wel ethisch vinden. Toch is 94% van de studenten in beide landen van plan ChatGPT voor academische doeleinden te gebruiken.
De rol van AI in het onderwijs heeft zich ontwikkeld tot een wervelend debat, waarbij leerlingen misschien wel het beste gebruik kunnen maken van de technologie terwijl leerkrachten hun kennis bijwerken.
Dit heeft tot een aantal gênante situaties geleid, zoals toen een professor van Texas A&M weigerde te markeren zijn proefwerken, omdat hij geloofde dat ze door AI waren gemaakt.
Eén ding is zeker: AI zal steviger verankerd raken in het onderwijs, in positieve of negatieve zin.
