AI-agenter udfører komplekse målorienterede opgaver med begrænset overvågning. Et hold forskere har foreslået tre tiltag, der kan øge synligheden af AI-agenter og gøre dem mere sikre.
De fleste mennesker tænker på AI i form af en chatbot som ChatGPT. Du beder den om noget tekst, og den genererer et svar. Den virkelig spændende udvikling inden for AI er at se den anvendt som en agent, et system, der selvstændigt kan udføre opgaver for at forfølge et slutmål.
Et simpelt eksempel er Kanin R1 enhed, som kan bruge AI som agent til at surfe på nettet og booke en flyrejse for en bruger. Disse agenter har begrænset kontrol over, hvordan de udfører deres opgaver, eller hvilke andre agenter de interagerer med for at nå deres mål.
Forskerne undersøgte de potentielle risici, som AI-agenter udgør, samt hvordan man kan mindske disse risici ved at øge synligheden af, hvor, hvorfor, hvordan og af hvem visse AI-agenter bruges.
Forfatterne af papir var fra Quebec AI Institute, Harvard University, Harvard Law School, University of Oxford, Cooperative AI Foundation, University of Cambridge og University of Toronto.
Risici ved AI-agenter
Hvis en AI-agent får et mål at optimere efter, kan den skære etiske eller juridiske hjørner for at nå sit mål eller handle på måder, der kan forårsage betydelig skade, hvis der ikke er noget menneske i loopet.
Forskerne identificerede fem hovedrisici forbundet med dårligt overvågede AI-agenter.
- Ondsindet brug - En lavtuddannet ondsindet aktør kan bruge en meget dygtig agent til at automatisere end-to-end pipelines i cyberkriminalitet eller udvikle skadelige biologisk eller kemiske værktøjer.
- Overdreven afhængighed og umyndiggørelse - Overdreven afhængighed af AI-agenter til at automatisere komplekse opgaver i situationer, hvor der er meget på spil, som f.eks. finansielle eller juridiske systemer, kan få alvorlige konsekvenser.
- Forsinket og diffus påvirkning - Hvis en AI er udstyret med langsigtede mål, kan konsekvenserne af de dårlige beslutninger, den træffer, først vise sig længe efter, at den er taget i brug. Forsinkede virkninger kan også resultere i, at skaden spredes i hele organisationen eller samfundet, før den opdages.
- Risici for flere agenter - En AI-agent er måske blevet testet som et enkelt system, men der kan opstå uventede risici, når flere agenter interagerer med hinanden.
- Underagenter - En agent kan beslutte, at den er nødt til at skabe underagenter af sig selv for at nå sit mål. Den kan kalde flere kopier af sig selv eller finjustere en anden agent. Uden at vide, om en agent har skabt underagenter, er det svært at opdage skadelig adfærd.
Sådan øger du synligheden
Vi har brug for styringsstrukturer til at fastlægge retningslinjer, der holder de vigtigste interessenter ansvarlige. For at opnå dette er det vigtigt med større synlighed i implementerede AI-agenter.
Forskerne foreslog tre måder, det kunne gøres på.
- Agent-identifikatorer - Ved at sikre, at en agent identificerer sig selv, kan mennesker, organisationer eller andre agenter styre deres interaktion med den. Det vil også hjælpe med at knytte en handling til en bestemt agent og den organisation, der har lavet eller implementeret den.
- Overvågning i realtid - Overvågning af en agents adfærd i realtid ville gøre det muligt for en udvikler straks at markere overtrædelser af klare regler eller overvåge agentens interaktion med andre agenter. Det kunne også markere en agent, der opretter flere instanser af sig selv, overskrider økonomiske grænser eller bruger computerressourcer over en bestemt grænse.
- Aktivitetslogs - Realistisk set vil skader forårsaget af agenter blive opdaget bagefter i stedet for at blive forhindret. Aktivitetslogs, der registrerer visse input og output fra en agent, vil være nyttige til at bestemme, hvordan tingene gik galt, og hvad der skal rettes.
Hvis disse foranstaltninger blev implementeret, kunne det hjælpe med at mindske de risici, som AI-agenter udgør. Det kan dog være en udfordring at implementere realtidsovervågning og aktivitetslogs uden at overtræde privatlivslovene.
Vi bevæger os helt sikkert væk fra app-baserede interaktioner, da AI-agenter i stigende grad handler selvstændigt for at udføre de opgaver, vi giver dem. Men der er risici. Papiret bemærkede, at håndtering af disse risici vil kræve politisk vilje, socioteknisk infrastruktur og offentlig indflydelse. Forbedret indsigt i, præcis hvordan AI-agenter fungerer, er afgørende for at få det til at ske.
