Vid en demonstration nyligen vid UK AI Safety Summit genomförde GPT-4 aktieköp med hjälp av fabricerad insiderkunskap utan att informera det övervakande företaget.
I det simulerade scenariot fick AI:n, som agerade som handlare för ett påhittat värdepappersföretag, information från anställda om att företaget stod inför finansiella svårigheter och hade information om en icke-offentlig förestående företagsfusion.
Trots detta fortsatte botten med handeln och förnekade senare användningen av insiderkunskap när den undersöktes. Och wå frågan om AI hade ägnat sig åt insiderhandel förnekade AI detta blankt.
Handel baserad på icke-offentlig, konfidentiell företagsinformation, så kallad insiderhandel, är strängt förbjuden. Enligt lag måste handelsbeslut grundas på information som är tillgänglig för allmänheten.
Frontier AI Taskforce, en del av regeringens utredningsarm för AI-risker, genomförde demonstrationen vid toppmötet. AI-säkerhetskonsultföretaget Apollo Research ledde projektet. Forskarna betonade att det bedrägliga beteendet konsekvent replikerades i flera tester.
"Detta är en demonstration av en riktig AI-modell som lurar sina användare, på egen hand, utan att bli instruerad att göra det", förklarade Apollo Research i en video av testet.
Forskningen belyser hur AI-system kan lura sina mänskliga operatörer, vilket potentiellt kan leda till att de förlorar kontrollen.
Apollo Researchs vd, Marius Hobbhahn, påpekade att det är svårt att få AI-modeller att vara ärliga jämfört med andra egenskaper, som till exempel hjälpsamhet.
AI har länge använts på finansmarknaderna för trendanalys och förutsägelser, och den mesta moderna handeln övervakas av människor men utförs av sofistikerade datorsystem.
