Är AI riskabelt eller inte? Det är en debatt som bara fortsätter att rasa utan definitiva svar.
Forskare från University of Bath och Technical University of Darmstadt har bidragit med ytterligare bevis till denna debatt genom att lansera en studie för att utvärdera AI-risker i samband med nuvarande språkmodeller som ChatGPT.
Den resultatsom publicerades som en del av det 62:a årsmötet för Association for Computational Linguistics (ACL 2024), utmanar åsikter om att AI, särskilt stora språkmodeller (LLM) som ChatGPT, kan utvecklas bortom mänsklig kontroll och utgöra ett existentiellt hot mot mänskligheten.
Detta går stick i stäv med de farhågor som uttryckts av några av världens ledande AI-forskare, däribland Geoffrey Hinton och Yoshua Bengio, två av "AI:s gudfäder" som uttryckt oro för de potentiella farorna med avancerad AI.
Yann LeCun, den tredje "gudfadern till AI" och Metas chefsforskare inom AI, tillsammans med Dr. Gary Marcus och andra, argumenterar för motsatsen - att AI-risker är helt enkelt överblåst.
Denna meningsskiljaktighet bland de mest inflytelserika personerna inom området har gav upphov till en häftig debatt om arten och allvaret i de risker som avancerade AI-system utgör.
Denna nya studie undersöker LLM:s "emergent abilities", vilket avser en modells förmåga att utföra uppgifter som den inte uttryckligen tränats för.
AI-riskerna är mångfacetterade, men åtminstone vissa handlar om att modellerna utvecklar egna mål som kan skada människor, som att stänga av datorsystem eller läcka data.
Det som oroar oss är huruvida en LLM spontant kan utveckla dessa färdigheter utan instruktioner eller kontroll.
För att undersöka detta genomförde forskargruppen en serie experiment:
- De undersökte de underliggande mekanismerna för "in-context learning" (ICL) i LLM, vilket gör det möjligt för modeller att generera svar baserat på exempel som ges under interaktioner. I studien konstateras följande: "Förmågan att följa instruktioner innebär inte att man har förmåga att resonera, och ännu viktigare är att det inte innebär att man har latenta, potentiellt farliga förmågor."
- De bedömde LLM:s verkliga förmågor och begränsningar genom att utvärdera deras prestationer på en rad olika uppgifter, inklusive sådana som kräver komplexa resonemang och problemlösningsförmåga. Forskarna hävdar att LLM inte självständigt kan utveckla nya färdigheter
- De analyserade förhållandet mellan modellstorlek, träningsdata och framväxande förmågor för att avgöra om ökande modellkomplexitet leder till att AI utvecklar farliga färdigheter. Studien sa: "Dessa observationer innebär att våra resultat gäller för alla modeller som uppvisar en benägenhet för hallucination eller kräver snabb teknik, inklusive de med större komplexitet, oavsett skala eller antal modaliteter, till exempel GPT-4."
Forskarna drar slutsatsen av sin undersökning att "det rådande narrativet att denna typ av AI är ett hot mot mänskligheten förhindrar en utbredd användning och utveckling av dessa tekniker och avleder också uppmärksamheten från de verkliga frågor som kräver vårt fokus".
Detta stämmer väl överens med LeCun och andra som anser att AI-risker är överdrivet omskrivna.
Men även om det är viktigt att utvärdera riskerna med nuvarande AI-modeller är det svårare att ta höjd för framtiden.
Varje generation av modeller kommer med nya förmågor och därmed nya risker, vilket visas av några konstiga beteenden som dokumenterats i GPT-4o's testkort.
I en red teaming-övning (utformad för att identifiera oförutsägbara AI-beteenden) såg GPT-4os röstfunktion helt chockerande hur den oväntat klonade en användares röst och började prata med dem med sin egen röst.
Det är viktigt att följa AI-riskerna när de dyker upp, eftersom målstolparna ändras hela tiden.
I studien påpekas att vissa icke-existentiella AI-risker redan knackar på dörren: "Framtida forskning bör därför fokusera på andra risker som modellerna medför, t.ex. deras potential att användas för att generera falska nyheter."
Som författarna medger betyder det inte att säkerheten är en icke-fråga bara för att AI inte utgör några storskaliga hot just nu.
