Når algoritme- og maskinlæringssystemer begynder at sprede sig i den offentlige sektor, er vi måske på vej mod en form for algoritmestyring - eller et "algokrati"?
Algogracy - en form for algoritmedrevet styring, der er relateret til teknokrati og cyberokrati - anvender systematisk AI, blockchain og algoritmer på forskellige aspekter af loven og samfundet.
Selve begrebet "algokrati" opstod i den akademiske diskurs omkring 2013, men eksempler på algoritmisk styring går tilbage til 60'erne og 70'erne.
Selv om algoritmisk behandling og maskinlæring eller AI ikke er det samme, repræsenterer de et kontinuum af teknologier.
Kernetemaerne i algoritmisk styring - at overlade menneskelig kontrol til computerstyrede beslutningssystemer - har udviklet sig fra mere simple matematiske simuleringer til nutidens avancerede selvlærende modeller.
Er det noget, vi skal byde velkommen eller være på vagt over for?
Algokratiets oprindelse
Algoritmisk styring blev født i en æra med hurtig digitalisering - 1960'erne.
Her er en kort tidslinje over, hvordan algoritmisk og AI-integreret beslutningstagning har optrådt i offentlige og statslige projekter:
- 1962: Alexander Kharkevich foreslår et computernetværk til algoritmisk styring i Moskva.
- 1971-1973: Projekt Cybersyn i Chile forsøger at styre den nationale økonomi.
- 1970s: Udvikling af tidlige juridiske ræsonnementer og systemer til fortolkning af skattelovgivning som det britiske LEGOL-projekt og det amerikanske TAXMAN-projekt.
- 1993: Udgivelse af "Towards a New Socialism", der diskuterer potentialet i en demokratisk planlagt økonomi bygget på moderne computerteknologi.
- 2000s: Algoritmer begynder at blive brugt til analyse af overvågningsvideoer.
- 2006: A. Aneesh introducerer begrebet algokrati og diskuterer informationsteknologiernes indflydelse på offentlig beslutningstagning.
- 2013: Tim O'Reilly opfandt begrebet "algoritmisk regulering" og slog til lyd for at bruge big data og algoritmer i regeringen.
- 2017: Ukraines justitsministerium gennemfører eksperimentelle offentlige auktioner ved hjælp af blockchain.
- I dag: Der er talrige eksempler på maskinlæringssystemer, der anvendes i den offentlige sektor, og nogle af dem har vist sig at træffe livsændrende beslutninger på højt niveau med minimalt menneskeligt tilsyn.
Et af de mest fascinerende projekter er Cybersyni Chile, som løb fra 1971 til 1973. På trods af sin korte levetid tjener projektet stadig som et eksempel på, hvordan samfundet - og mennesker - med succes kan modelleres af computersystemer.
Mekanismerne bag er fascinerende, og de foregriber Salvador Allendes CIA-støttede fald og Chiles vej ind i den ødelæggende Pinochet-æra.
Kernen i Project Cybersyn var fire hovedkomponenter:
- Økonomisk simulator: Dette modul er designet til at modellere den chilenske økonomi, så embedsmænd kan simulere resultaterne af forskellige økonomiske beslutninger.
- Software til fabriksydelse: Brugerdefineret software blev udviklet til at overvåge og evaluere fabrikkens præstationer med fokus på nøgleindikatorer som produktionsniveauer og råvareforsyninger.
- Operationsrum (Opsroom): Dette var Cybersyns fysiske knudepunkt, hvor økonomiske data blev indsamlet, behandlet og vist. Opsrummet gjorde det muligt for beslutningstagere hurtigt at assimilere komplekse oplysninger og træffe informerede valg.
- Nationalt netværk af telexmaskiner: Disse var forbundet med en mainframe-computer og dannede et kommunikationsnetværk (kaldet 'Cybernet') på tværs af statslige virksomheder. Dette netværk gjorde det muligt at overføre økonomiske data i realtid til centralregeringen.
Project Cybersyn demonstrerede sit potentiale under en national strejke blandt lastbilchauffører i 1972, hvor regeringen kunne stole på realtidsdata for at afbøde strejkens konsekvenser. Telexnetværket var afgørende for at opretholde kommunikationen og koordinere ressourcefordelingen midt i krisen.
Men projektet sluttede brat efter militærkuppet den 11. september 1973. Opsroom og det bredere system blev afviklet, og Cybersyn forblev en ufærdig vision om et teknologisk avanceret og potentielt socialt ansvarligt økonomisk styringssystem. Cybersyns politik er meget omdiskuteret, og det står som et eksempel på innovation under socialismen, hvilket det er blevet æret for.
Der er flere andre tidlige eksempler på algokrati, herunder LEGOL- og TAXMAN-projekterne i 1970'erne, som banede vejen for automatisering af regelbaserede processer i skattevæsenet. I de efterfølgende årtier udviklede disse teknologier sig, og overvågningsapplikationer blev fremtrædende i 2000'erne.
I 2006 skrev A. Aneesh i sin bog "Virtuel migrationintroducerede begrebet algokrati og undersøgte, hvordan informationsteknologier kan begrænse menneskelig deltagelse i offentlig beslutningstagning og adskille det fra bureaukratiske og markedsbaserede systemer.
I 2013 opfandt Tim O'Reilly, grundlægger og CEO for O'Reilly Media Inc. begrebet "algoritmisk regulering" og formulerede en vision for styring, der udnytter kraften i big data og algoritmer til at opnå bestemte juridiske resultater, og han opfordrede til et paradigmeskift mod mere effektiv og ansvarlig styring.
For nylig, i 2017, gennemførte Ukraines justitsministerium en eksperimentel blockchain-baserede offentlige auktioner (aka. udbud i den offentlige sektor) og viser disse teknologiers potentiale til at øge gennemsigtigheden og bekæmpe korruption i offentlige transaktioner.
Og det bringer os helt frem til den spirende æra med generativ AI og nutidens avancerede grænsemodeller.
Den offentlige sektor eksperimenterer med AI og algoritmer
Den offentlige sektor og regeringsorganer har eksperimenteret meget med algoritmisk beslutningstagning, AI og maskinlæring i de seneste par år.
En omfattende undersøgelse udført af Stanford University afslørede den betydelige udbredelse af AI- og ML-værktøjer i den amerikanske føderale sektor, hvor 45% af agenturerne vil eksperimentere med disse teknologier i 2020.
Palantir Technologies er en stor kommerciel udbyder på dette område og bidrager til de resterende applikationer.
Hvis man ser på specifikke agenturer, fører Office of Justice Programs med 12 use cases, efterfulgt af Securities and Exchange Commission med 10 og NASA med ni. Andre fremtrædende agenturer omfatter FDA, USGS, USPS, SSA, USPTO, BLS og US Customs and Border Protection.
Der er udbredte tegn på bias i nogle af disse systemer. Sundhedsalgoritmer i USA viste sig at være mindre tilbøjelige til at henvise sorte patienter for ekstra pleje, og predictive policing-værktøjer som COMPAS er blevet beskyldt for racefordomme i forbindelse med forudsigelse af risiko for tilbagefald (recidiv) og strafudmåling.
En nylig Guardian-undersøgelse i den britiske offentlige sektor viste, at algoritmer, der bruges inden for områder som velfærd, immigration og strafferet, har været involveret i tilfælde af misbrug og diskrimination.
Især blev Department for Work and Pensions (DWP) kritiseret for en algoritme, der angiveligt førte til uretmæssige suspensioner af ydelser, og Metropolitan Police's ansigtsgenkendelsesværktøj viste højere fejlprocenter for sorte ansigter.
Retfærdighed ved hjælp af AI og algoritmer
En anden gren af algokratiet er algoritmisk eller AI-influeret retfærdighed og retshåndhævelse.
Ud over det amerikanske COMPAS-system er der i Australien et "Split Up" software hjælper dommere med at bestemme fordelingen af aktiver under skilsmissesager, og Kina har været banebrydende for etableringen af internetdomstole, hvor en virtuel AI-dommer hjælper med grundlæggende retssagsopgaver.
Den hollandske regerings erfaringer med Indikation af systemrisiko (SyRI) algoritme, der er designet til at opdage socialt bedrageri, stod over for juridiske udfordringer på grund af dens potentielle diskriminerende virkninger og manglende gennemsigtighed, hvilket førte til en skelsættende domstolsafgørelse mod dens brug.
Brasiliens indførelse af ansigtsgenkendelsesteknologi i São Paulo gennem Smart Sampa-projektet og andre former for forudseende politiarbejde, herunder flere programmer i USA, viser teknologiens potentiale til at påvirke styringen af folks grundlæggende frihedsrettigheder.
Palantirs Gotham-software er blevet brugt af New Orleans Police Department siden 2012 til forudsigende politiarbejde, og nyere udgaver er blevet erklæret en fiaskoDe påfører marginaliserede samfund fordomme og spilder politiets ressourcer.
Derudover overtager law-bots i stigende grad opgaver, der traditionelt håndteres af advokatfuldmægtige, med teknologier som ROSS Intelligence, der hjælper amerikanske advokatfirmaer med juridisk research.
Der har for nylig været rapporter om advokater, der bruger generativ AI, herunder ChatGPT, til at hjælpe med sagsresearch - herunder en højprofileret hændelse hvor en advokat fremsatte juridiske krav med AI-fabrikerede sager.
AI-politikere stiller op til valg
At erstatte politikere helt med AI har været genstand for mange spekulationer, bl.a. i en nylig podcast med Joe Rogan og OpenAI's CEO Sam Altman.
Joe Rogan tager emnet op og siger, at AI kan vise sig at være mere objektivt i stand til at tilgodese folks specifikke behov, løsrevet fra økonomiske og politiske påvirkninger.
Altman er enig i, at konventionelle regeringsbeslutninger ofte er baseret på korrupte motiver, men han er ikke tryg ved at overlade vigtige samfundsmæssige beslutninger til kunstig intelligens.
I 2018 stillede Michihito Matsuda op til borgmestervalget i Tokyos byområde Tama som menneskelig stedfortræder for et AI-programog præsenterede en ny tilgang til politisk kandidatur. Selv om det ikke vandt, fremhævede dette initiativ potentialet i kunstig intelligens i politik.
Cesar Hidalgo introducerede begrebet udvidet demokrati i 2018 ved at foreslå lovgivning gennem digitale tvillinger af enkeltpersoner. Hidalgo sagde"Demokrati kan opdateres eller forbedres ved hjælp af teknologi og nye ideer, det er jeg helt overbevist om."
I 2022 vil "Leder Lars.", en chatbot, blev nomineret til at stille op til det danske folketingsvalg som repræsentant for Syntetisk Parti.
I modsætning til sine forgængere ledede Leader Lars et politisk parti og deltog i kritiske politiske diskussioner uden at hævde at være objektiv, hvilket tilføjede en ny dimension til begrebet virtuelle politikere.
Fordele og kritik af algokrati
Algocracys fordele falder typisk ind under paraplyen "effektivitet". Det er hurtigere at bruge AI og algoritmer til at træffe komplekse beslutninger end at stole på mennesker.
Det er især en fordel i komplekse områder af den offentlige sektor, som allerede er belastet af forsinkelser.
Derfor er fristelsen til at eksperimentere med AI-drevet beslutningstagning enorm, og derfor er der så mange bemærkelsesværdige eksempler fra den offentlige sektor i ressourceudfordrede afdelinger som jura, retsvæsen, økonomi og velfærd.
Det er en udfordring at få tillid til disse værktøjer, da regeringer ikke ønsker, at deres proprietære modeller skal afsløres, da det kan gøre følsomme data tilgængelige for trusler. Derfor holdes mange af disse projekter meget hemmelige, hvilket bidrager til deres risici.
Historiker og forfatter til bestsellere som "Sapiens" og "Homo Deus", Yuval Noah Harari, har påpeget, at den igangværende konflikt mellem demokratiske og autoritære regimer kan ses som en kamp mellem to databehandlingssystemer, hvor AI og algoritmer potentielt kan tippe balancen i retning af centralisering og kontrol.
Harari fremhæver, at AI's evne til at manipulere sprog og skabe overbevisende indhold kan bringe demokratiet i fare. Bekymringen handler ikke kun om, at AI producerer forudindtaget eller falsk information, men om dens evne til at efterligne menneskelig samtale og påvirke den offentlige mening uden at blive opdaget.
Harari beskriver desuden, hvordan AI kan skabe ekkokamre, som autoritære regimer kan udnytte mere effektivt end demokratier. Autoritære regeringer kan med deres centraliserede kontrol over data og mindre bekymring for privatlivets fred eller etiske begrænsninger anvende AI mere aggressivt til at overvåge og manipulere den offentlige mening.
Der findes metoder til at afhjælpe dette. For eksempel har AI-startup'en Anthropic dedikeret betydelig forskning til "Konstitutionel AI", og mere specifikt, "Kollektiv forfatningsmæssig AI", der sender folks meninger ind i en AI-model for at 'crowdsource' sine værdier fra den generelle befolkning.
Disse teknikker kunne informere AI-styringen på demokratisk vis og sikre, at modellerne styres af offentlige meninger og ikke kun af deres skabere.
Den offentlige mening om algokrati
Hvad mener flertallet af mennesker om disse anvendelser af AI?
Disse stemmer er mest sigende for, hvad samfundet virkelig føler ved helt eller delvist at blive styret af algoritmiske eller AI-systemer. Og lad os ikke glemme, at det offentlige finansierer disse projekter via skatten.
En meningsmåling fra 2019 udført af IE University's Center for styring af forandring i Spanien afslørede forskellige niveauer af offentlig støtte i de europæiske lande til at lade kunstig intelligens træffe vigtige nationale beslutninger. Holland havde den højeste opbakning med 43%, mens Portugal havde den laveste med 19%.
Forskere har fundet ud af, at skuffelse over politiske ledere eller sikkerhedsudbydere kan øge offentlighedens tilbøjelighed til at vælge kunstige agenter, der opfattes som mere pålidelige.
Med tiden kan AI-modeller måske fungere som en kalibrator for socialt ansvarlige regeringshandlinger, idet de tager meninger fra offentligheden og indarbejder dem i AI-modeller for at ophæve nogle af de mindre troværdige manifestationer af det traditionelle demokrati.
Hvis de udføres korrekt, kan disse teknikker endda på en gennemsigtig måde holde regeringerne ansvarlige over for befolkningens demokratiske ønsker.
Men indtil videre illustrerer de fleste eksempler på algokrati i øjeblikket statslig snarere end demokratisk beslutningstagning.
