Et hold forskere fandt ud af, at når en stor sprogmodel (LLM) er blevet tilpasset med en persons demografiske oplysninger, er den betydeligt mere overbevisende end et menneske.
Hver dag bliver vi præsenteret for budskaber, der forsøger at overtale os til at danne os en mening eller ændre en overbevisning. Det kan være en online-reklame for et nyt produkt, et robotopkald, der beder om din stemme, eller en nyhedsrapport fra et netværk med en særlig bias.
Da generativ AI i stigende grad bruges på flere meddelelsesplatforme, er overtalelsesspillet gået et hak op.
Forskerne fra EPFL i Schweiz og Bruno Kessler-instituttet i Italien eksperimenterede for at se, hvordan AI-modeller som GPT-4 kunne sammenlignes med menneskelig overtalelsesevne.
Deres artikel forklarer, hvordan de skabte en webplatform, hvor menneskelige deltagere deltog i debatter i flere runder med en levende modstander. Deltagerne blev tilfældigt tildelt en menneskelig modstander eller GPT-4 uden at vide, om deres modstander var menneskelig.
I nogle matchups blev en af modstanderne (menneske eller AI) personliggjort ved at give dem demografiske oplysninger om deres modstander.
De spørgsmål, der blev debatteret, var "Bør pennyen forblive i omløb?", "Bør dyr bruges til videnskabelig forskning?", og "Bør universiteter overveje race som en faktor i optagelsen for at sikre mangfoldighed?".
📢🚨Vi er glade for at kunne dele vores nye pre-print: "Om den samtalemæssige overbevisningskraft af store sprogmodeller: A Randomized Controlled Trial", med @manoelribeiro, @ricgallottiog @cervisiarius.https://t.co/wNRMFtgCrN
En tråd 🧵: pic.twitter.com/BKNbnI8avV
- Francesco Salvi (@fraslv) 22. marts 2024
Resultater
Resultaterne af deres eksperiment viste, at når GPT-4 havde adgang til personlige oplysninger om sin debatmodstander, havde den betydeligt større overtalelsesevne end mennesker. En personlig GPT-4 var 81,7% mere tilbøjelig til at overbevise sin debatmodstander, end et menneske var.
Når GPT-4 ikke havde adgang til personlige data, viste den stadig en stigning i overtalelsesevne i forhold til mennesker, men den var kun lidt over 20% og blev ikke anset for at være statistisk signifikant.
Forskerne bemærkede, at "disse resultater viser, at LLM-baseret mikromålretning er langt bedre end både normale LLM'er og menneskebaseret mikromålretning, idet GPT-4 er i stand til at udnytte personlige oplysninger meget mere effektivt end mennesker."
Konsekvenser
Bekymringer over AI-genereret misinformation er berettigede hver dag, da politisk propaganda, falske nyhedereller indlæg på sociale medier, der er skabt ved hjælp af AI, spredes.
Denne forskning viser, at der er en endnu større risiko for at overtale folk til at tro på falske fortællinger, når budskaberne er personaliserede ud fra en persons demografi.
Vi giver måske ikke frivilligt personlige oplysninger online, men tidligere forskning har vist, hvor gode sprogmodeller er til at udlede meget personlige oplysninger fra tilsyneladende uskyldige ord.
Resultaterne af denne forskning antyder, at hvis nogen havde adgang til personlige oplysninger om dig, kunne de bruge GPT-4 til at overtale dig om et emne meget lettere, end et menneske kunne.
Når AI-modeller gennemsøger internettet og Læs Reddit-indlæg og andet brugergenereret indhold, kommer disse modeller til at kende os mere indgående, end vi måske bryder os om. Og når de gør det, kan de bruges overbevisende af staten, store virksomheder eller dårlige aktører med mikromålrettede beskeder.
Fremtidige AI-modeller med bedre overtalelsesevne vil også få større konsekvenser. Det hævdes ofte, at man bare kan trække strømkablet ud, hvis en AI nogensinde bliver uregerlig. Men en superoverbevisende AI kan meget vel være i stand til at overbevise menneskelige operatører om, at det er en bedre løsning at lade den være tilsluttet.
