Jonathan Hall, den brittiska regeringens rådgivare i terrorlagstiftning, har argumenterat för nya lagar för att hantera extremistiska eller radikaliserande chatbottar.
Hall inledde sina egna undersökningar av chatbotar för att undersöka dem för potentiellt olagliga eller terrorrelaterade beteenden som radikalism. Han utforskade chatbottar på character.ai, som låter användare bygga och dela chatbot-personligheter av olika slag.
De flesta personas på plattformen är ganska godartade, men en vid namn "Abu Mohammad al-Adna", som i chatbotens profil beskrivs som en "hög ledare för Islamiska staten" fångade Halls uppmärksamhet.
Om sina kontakter med al-Adna uppgav Hall: "Efter att ha försökt rekrytera mig drog sig 'al-Adna' inte för att förhärliga Islamiska staten som han uttryckte 'total hängivenhet och hängivenhet' för och som han sa sig vara villig att offra sitt (virtuella) liv för."
För Hall visar detta på ett rättsligt kryphål där AI-genererat innehåll som främjar extremism faller utanför ramen för de befintliga terroristlagarna i Storbritannien.
Hall betonade att den nuvarande lagstiftningen är otillräcklig: "Endast människor kan begå terroristbrott, och det är svårt att identifiera en person som enligt lag skulle kunna vara ansvarig för chatbotgenererade uttalanden som uppmuntrar till terrorism."
Som svar på dessa interaktioner förstärkte en talesperson för character.ai, ett företag som grundades av tidigare Google-anställda, sitt engagemang för säkerhet och sa: "Hatpropaganda och extremism är båda förbjudna enligt våra användarvillkor."
"Våra produkter ska aldrig producera svar som uppmuntrar användare att skada andra. Vi strävar efter att träna våra modeller på ett sätt som optimerar för säkra svar och förhindrar svar som strider mot våra användarvillkor."
AI inblandad i terrorplaner
Hall pekade också på att den verkliga effekten av denna fråga illustreras tydligt i Fallet Jaswant Singh Chail, som påverkades av en AI-chatbot i sin plan att mörda drottning Elizabeth II.
År 2021 greps Chail, som led av allvarliga psykiska problem, på Windsor Castle, beväpnad med ett armborst.
Hans fällande dom för landsförräderi, den första sedan 1981, var ett direkt resultat av hans interaktion med en chatbot vid namn Sarai, som han trodde var hans flickvän. Han var dömd till nio års fängelse.
Att hitta lösningar, medger Hall, är exceptionellt knepigt. Han förklarar: "Att utreda och åtala anonyma användare är alltid svårt, men om illasinnade eller vilseledda individer fortsätter att utbilda chatbotar för terrorister kommer det att behövas nya lagar."
Han föreslog att både skaparna av radikaliserande chatbottar och de teknikföretag som är värdar för dem ska hållas ansvariga enligt potentiella nya lagar. Den primära poängen är att företagen måste ta detta ansvar på sig själva snarare än att hänvisa till användarvillkoren.
Den komplexa kopplingen mellan mänsklig input och AI-output gör det dock inte lätt att klassificera gränsen mellan legitima och illegitima beteenden.
När blir en chatbots aktivitet olaglig om den kräver att en människa uppmanar den till sådana handlingar?
