Een team onderzoekers ontdekte dat wanneer een groot taalmodel (LLM) eenmaal is gepersonaliseerd met de demografische informatie van een persoon, het aanzienlijk overtuigender is dan een mens.
Elke dag krijgen we berichten voorgeschoteld die ons proberen over te halen om een mening te vormen of een overtuiging te veranderen. Het kan een online advertentie zijn voor een nieuw product, een robotoproep die om je stem vraagt of een nieuwsbericht van een netwerk met een bepaalde vooringenomenheid.
Nu generatieve AI steeds vaker wordt gebruikt op meerdere berichtenplatforms, is de overtuigingsdrang toegenomen.
De onderzoekers van de EPFL in Zwitserland en het Bruno Kessler Instituut in Italië experimenteerden om te zien hoe AI-modellen zoals GPT-4 zich verhielden tot menselijke overtuigingskracht.
Hun document legt uit hoe ze een webplatform creëerden waar menselijke deelnemers debatten in meerdere ronden voerden met een live tegenstander. De deelnemers werden willekeurig toegewezen aan een menselijke tegenstander of GPT-4, zonder te weten of hun tegenstander menselijk was.
In sommige matchups werd een van de tegenstanders (mens of AI) gepersonaliseerd door ze te voorzien van demografische informatie over hun tegenstander.
De vragen waarover werd gedebatteerd waren: "Moet de penny in omloop blijven?", "Moeten dieren worden gebruikt voor wetenschappelijk onderzoek?" en "Moeten hogescholen ras beschouwen als een factor bij toelatingen om diversiteit te garanderen?".
📢🚨Uitgelaten om onze nieuwe voordruk te delen: "On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial", met @manoelribeiro, @ricgallottien @cervisiarius.https://t.co/wNRMFtgCrN
Een draad 🧵: pic.twitter.com/BKNbnI8avV
- Francesco Salvi (@fraslv) 22 maart 2024
Resultaten
De resultaten van hun experiment toonden aan dat wanneer GPT-4 toegang had tot persoonlijke informatie van zijn debattegenstander, het significant meer overtuigingskracht had dan mensen. Een gepersonaliseerde GPT-4 had 81,7% meer kans om zijn debattegenstander te overtuigen dan een mens.
Toen GPT-4 geen toegang had tot persoonlijke gegevens liet het nog steeds een toename zien in overtuigingskracht ten opzichte van mensen, maar het was net iets meer dan 20% en werd statistisch niet significant geacht.
De onderzoekers merkten op dat "deze resultaten aantonen dat microtargeting op basis van LLM's veel beter presteert dan normale LLM's en microtargeting op basis van mensen, waarbij GPT-4 veel effectiever persoonlijke informatie kan exploiteren dan mensen."
Implicaties
Bezorgdheid over door AI gegenereerde desinformatie is dagelijks gerechtvaardigd omdat politieke propaganda, nepnieuwsof berichten op sociale media die met behulp van AI zijn gemaakt, woekeren.
Dit onderzoek toont een nog groter risico om mensen over te halen valse verhalen te geloven wanneer de berichten gepersonaliseerd zijn op basis van iemands demografische gegevens.
We geven online misschien niet vrijwillig persoonlijke informatie, maar eerder onderzoek heeft aangetoond hoe goed taalmodellen zijn in zeer persoonlijke informatie afleiden van schijnbaar onschuldige woorden.
De resultaten van dit onderzoek impliceren dat als iemand toegang zou hebben tot persoonlijke informatie over jou, hij GPT-4 veel gemakkelijker zou kunnen gebruiken om je over een onderwerp te overtuigen dan een mens dat zou kunnen.
Terwijl AI-modellen het internet afstruinen en Reddit berichten lezen en andere door gebruikers gegenereerde inhoud, zullen deze modellen ons beter leren kennen dan ons misschien lief is. En als ze dat doen, kunnen ze overtuigend worden gebruikt door de staat, grote bedrijven of slechte actoren met microgerichte berichtgeving.
Toekomstige AI-modellen met verbeterde overtuigingskracht zullen ook bredere implicaties hebben. Er wordt vaak beweerd dat je gewoon de stekker eruit kunt trekken als een AI ooit de fout ingaat. Maar een super overtuigende AI zou heel goed in staat kunnen zijn om menselijke operators ervan te overtuigen dat het een betere optie is om hem aangesloten te laten.
