Etter hvert som algoritmiske og maskinlærende systemer begynner å bre om seg i statlig og offentlig sektor, er vi kanskje på vei mot en form for algoritmestyring - eller et "algokrati"?
Algogracy - en form for algoritmedrevet styring som er beslektet med teknokrati og cyberokrati - anvender systematisk kunstig intelligens, blokkjeder og algoritmer på ulike aspekter ved lov og samfunn.
Selve begrepet "algokrati" dukket opp i den akademiske diskursen rundt 2013, men eksempler på algoritmisk styring går helt tilbake til 60- og 70-tallet.
Selv om algoritmisk prosessering og maskinlæring eller AI ikke er det samme, representerer de et kontinuum av teknologier.
Kjernen i algoritmisk styring - å overlate menneskelig kontroll til datastyrte beslutningssystemer - har utviklet seg fra mer enkle matematiske simuleringer til dagens avanserte selvlærende modeller.
Er det noe vi bør ønske velkommen eller være skeptiske til?
Algokratiets opprinnelse
Algoritmisk styring ble født i en tid med rask digitalisering - på 1960-tallet.
Her er en kort tidslinje over hvordan algoritmiske og AI-integrerte beslutningsprosesser har blitt brukt i offentlige og statlige prosjekter:
- 1962: Alexander Kharkevich foreslår et datanettverk for algoritmisk styring i Moskva.
- 1971-1973: Prosjekt Cybersyn i Chile forsøker å styre den nasjonale økonomien.
- 1970s: Utvikling av tidlige systemer for juridisk resonnement og tolkning av skattelovgivning, som LEGOL-prosjektet i Storbritannia og TAXMAN-prosjektet i USA.
- 1993: Utgivelse av "Towards a New Socialism", som diskuterer potensialet i en demokratisk planøkonomi bygget på moderne datateknologi.
- 2000s: Algoritmer begynner å bli tatt i bruk for analyse av overvåkingsvideoer.
- 2006: A. Aneesh introduserer begrepet algokrati og diskuterer informasjonsteknologiens innvirkning på offentlig beslutningstaking.
- 2013: Tim O'Reilly skapte begrepet "algoritmisk regulering", og tok til orde for å bruke stordata og algoritmer i forvaltningen.
- 2017: Ukrainas justisdepartement gjennomfører eksperimentelle offentlige auksjoner ved hjelp av blokkjede.
- I dag: Det finnes en rekke eksempler på maskinlæringssystemer som er tatt i bruk i statlig og offentlig sektor, og noen av dem har vist seg å ta livsendrende beslutninger på høyt nivå med minimalt menneskelig tilsyn.
Et av de mest fascinerende prosjektene er Cybersyn, i Chile, som pågikk fra 1971 til 1973. Til tross for sin korte levetid tjener prosjektet fortsatt som et eksempel på hvordan samfunnet - og menneskene - kan modelleres av datasystemer.
Mekanismene bak er fascinerende, med CIA-støttede Salvador Allendes fall og Chiles vei inn i den ødeleggende Pinochet-æraen som forvarsel.
Kjernen i Project Cybersyn var fire hovedkomponenter:
- Økonomisk simulator: Denne modulen ble utviklet for å modellere den chilenske økonomien, slik at myndighetene kan simulere utfallet av ulike økonomiske beslutninger.
- Programvare for fabrikkytelse: Det ble utviklet spesialtilpasset programvare for å overvåke og evaluere fabrikkens ytelse, med fokus på nøkkelindikatorer som produksjonsnivå og råvareforsyning.
- Operasjonsrom (Opsroom): Dette var det fysiske navet i Cybersyn, der økonomiske data ble samlet inn, behandlet og vist. Opsrommet gjorde det mulig for beslutningstakere å raskt assimilere kompleks informasjon og ta informerte valg.
- Nasjonalt nettverk av telexmaskiner: Disse var koblet til en stordatamaskin og dannet et kommunikasjonsnettverk (kalt "Cybernet") på tvers av statlige virksomheter. Dette nettverket gjorde det mulig å overføre økonomiske data i sanntid til sentralmyndighetene.
Prosjekt Cybersyn demonstrerte sitt potensial under en nasjonal lastebilstreik i 1972, der myndighetene kunne stole på sanntidsdata for å dempe konsekvensene av streiken. Telex-nettverket var avgjørende for å opprettholde kommunikasjonen og koordinere ressursfordelingen midt i krisen.
Prosjektet ble imidlertid brått avsluttet etter militærkuppet 11. september 1973. Opsroom og det mer omfattende systemet ble demontert, og Cybersyn forble en uferdig visjon om et teknologisk avansert og potensielt sosialt ansvarlig økonomisk styringssystem. Cybersyn er et omdiskutert politisk prosjekt, og det er blitt hyllet som et eksempel på innovasjon under sosialismen.
Det finnes flere andre tidlige eksempler på algokrati, blant annet LEGOL- og TAXMAN-prosjektene på 1970-tallet, som banet vei for automatisering av regelbaserte prosesser i skatteetaten. I tiårene som fulgte, utviklet disse teknologiene seg videre, og på 2000-tallet ble overvåkingsapplikasjoner stadig mer fremtredende.
I 2006 skrev A. Aneesh i sin bok "Virtuell migrasjon..." introduserte begrepet algokrati, og utforsket hvordan informasjonsteknologi kan begrense menneskelig deltakelse i offentlig beslutningstaking, noe som skiller det fra byråkratiske og markedsbaserte systemer.
I 2013 lanserte Tim O'Reilly, grunnlegger og administrerende direktør i O'Reilly Media Inc. begrepet "algoritmisk regulering", og formulerte en visjon for styring som utnytter kraften i stordata og algoritmer for å oppnå spesifiserte juridiske resultater, og etterlyste et paradigmeskifte i retning av mer effektiv og ansvarlig styring.
I 2017 gjennomførte Ukrainas justisdepartement en eksperimentell blockchain-baserte offentlige auksjoner (aka. anbud i offentlig sektor), og viser potensialet disse teknologiene har for å øke åpenheten og bekjempe korrupsjon i offentlige transaksjoner.
Og det bringer oss helt frem til den gryende æraen med generativ AI og dagens avanserte frontier-modeller.
Offentlig sektor eksperimenterer med kunstig intelligens og algoritmer
Offentlig sektor og offentlige etater har eksperimentert mye med algoritmisk beslutningstaking, kunstig intelligens og maskinlæring de siste årene.
En omfattende studie utført av Stanford University avslørte den betydelige bruken av AI- og ML-verktøy i den føderale sektoren i USA, der 45% av etatene vil eksperimentere med disse teknologiene innen 2020.
Palantir Technologies er en stor kommersiell leverandør på dette området, og bidrar til de gjenværende bruksområdene.
Ser vi på spesifikke etater, leder Office of Justice Programs med 12 brukstilfeller, etterfulgt av Securities and Exchange Commission med 10 og NASA med ni. Andre fremtredende etater er FDA, USGS, USPS, SSA, USPTO, BLS og US Customs and Border Protection.
Det finnes omfattende bevis på skjevheter i noen av disse systemene. Helsealgoritmer i USA ble funnet å være mindre tilbøyelige til å henvise svarte pasienter for ekstra omsorg, og prediktive politiverktøy som COMPAS har blitt beskyldt for å være rasistisk når det gjelder å forutsi tilbakefallsrisiko (recidiv) og straffeutmåling.
En nylig Guardian-etterforskning i offentlig sektor i Storbritannia viste at algoritmer som brukes på områder som velferd, innvandring og strafferettspleie, har vært involvert i tilfeller av misbruk og diskriminering.
Blant annet ble Department for Work and Pensions (DWP) kritisert for en algoritme som angivelig førte til urettmessige stans av ytelser, og Metropolitan Police's ansiktsgjenkjenningsverktøy viste høyere feilprosent for svarte ansikter.
Rettferdighet ved hjelp av AI og algoritmer
En annen gren av algokratiet er algoritmisk eller AI-påvirket rettsvesen og rettshåndhevelse.
I tillegg til det amerikanske COMPAS-systemet, er det i Australia Programvaren "Split Up" hjelper dommere med å fastsette formuesfordelingen i skilsmissesaker, og Kina har vært først ute med å etablere internettdomstoler, der en virtuell AI-dommer bistår med grunnleggende oppgaver i rettssaker.
Den nederlandske regjeringens erfaring med Systemrisikoindikasjon (SyRI) algoritmen, som er utviklet for å avdekke trygdesvindel, møtte juridiske utfordringer på grunn av dens potensielt diskriminerende effekter og mangel på åpenhet, noe som førte til en skjellsettende dom mot bruken av den.
Brasils innføring av ansiktsgjenkjenningsteknologi i São Paulo gjennom Smart Sampa-prosjektet og andre former for forutseende politiarbeid, inkludert flere programmer i USA, viser teknologiens potensial til å påvirke styringen av folks grunnleggende friheter.
Palantirs Gotham-programvare har blitt brukt av politiet i New Orleans siden 2012 til forutseende politiarbeid, og nyere utgaver har blitt erklært mislykketDet fører til fordommer mot marginaliserte grupper og sløsing med politiets ressurser.
I tillegg tar advokatroboter i økende grad over oppgaver som tradisjonelt har blitt utført av advokatfullmektiger, og teknologier som ROSS Intelligence bistår amerikanske advokatfirmaer med juridisk research.
Det har nylig blitt rapportert om advokater som bruker generativ AI, inkludert ChatGPT, for å hjelpe til med saksutredning - inkludert en høyprofilert hendelse der en advokat sendte inn juridiske krav med AI-fabrikerte saker.
AI-politikere stiller til valg
Det har vært spekulert mye i å erstatte politikere fullstendig med kunstig intelligens, blant annet i en podcast med Joe Rogan og OpenAI-sjef Sam Altman.
Joe Rogan tar opp temaet og sier at kunstig intelligens kan vise seg å være mer objektivt i stand til å dekke menneskers spesifikke behov, løsrevet fra økonomiske og politiske påvirkninger.
Altman er enig i at konvensjonelle myndighetsbeslutninger ofte er basert på korrupte motiver, men er ikke komfortabel med å overlate viktige samfunnsbeslutninger til kunstig intelligens.
I 2018 stilte Michihito Matsuda til valg som borgermester i Tokyos bydel Tama som menneskelig stedfortreder for et AI-programog viste en ny tilnærming til politisk kandidatur. Til tross for at de ikke vant, satte dette initiativet søkelyset på potensialet som ligger i kunstig intelligens i politikken.
Cesar Hidalgo introduserte begrepet utvidet demokrati i 2018, og foreslo lovgivning gjennom digitale tvillinger av enkeltpersoner. Hidalgo sa"Demokratiet kan oppdateres eller forbedres ved hjelp av teknologi og nye ideer, det er jeg helt overbevist om."
I 2022 vil "Leder Lars.", en chatbot, ble nominert til å stille til det danske folketingsvalget som representant for Syntetisk Parti.
I motsetning til sine forgjengere ledet Leader Lars et politisk parti og engasjerte seg i kritiske politiske diskusjoner uten å utgi seg for å være objektiv, noe som tilførte en ny dimensjon til begrepet virtuelle politikere.
Fordeler og kritikk av algokratiet
Algocracys fordeler faller vanligvis inn under paraplyen "effektivitet". Det er raskere å bruke AI og algoritmer til å ta komplekse beslutninger enn å stole på mennesker.
Dette er spesielt fordelaktig på komplekse områder i offentlig sektor, som allerede er belastet av forsinkelser.
Fristelsen til å eksperimentere med AI-drevet beslutningstaking er derfor enorm, og det er grunnen til at det finnes så mange bemerkelsesverdige eksempler fra offentlig sektor i ressurskrevende departementer som justis-, økonomi- og velferdssektoren.
Det er utfordrende å få tillit til disse verktøyene, ettersom myndighetene ikke ønsker at de proprietære modellene deres skal eksponeres, noe som kan føre til at sensitive data blir utsatt for trusler. Derfor holdes mange av disse prosjektene svært hemmelige, noe som bidrar til å øke risikoen.
Historiker og forfatter av bestselgere som "Sapiens" og "Homo Deus", Yuval Noah Harari, har påpekt at den pågående konflikten mellom demokratiske og autoritære regimer kan ses på som en kamp mellom to databehandlingssystemer, der kunstig intelligens og algoritmer potensielt kan tippe balansen i retning sentralisering og kontroll.
Harari fremhever at AIs evne til å manipulere språk og generere overbevisende innhold kan sette demokratiet i fare. Bekymringen handler ikke bare om at kunstig intelligens produserer partisk eller falsk informasjon, men også om dens evne til å etterligne menneskelige samtaler og påvirke opinionen uten at det blir oppdaget.
Harari beskriver videre hvordan kunstig intelligens kan skape ekkokamre, som autoritære regimer kan utnytte mer effektivt enn demokratier. Autoritære regjeringer, med sin sentraliserte kontroll over data og mindre bekymring for personvern eller etiske begrensninger, kan bruke kunstig intelligens mer aggressivt for å overvåke og manipulere den offentlige opinionen.
Det finnes metoder for å bøte på dette. For eksempel har AI-oppstartsbedriften Anthropic dedikert betydelig forskning til "konstitusjonell AI", og mer spesifikt, "kollektiv konstitusjonell AI", som mater folks meninger inn i en AI-modell for å "crowdsource" sine verdier fra den generelle befolkningen.
Disse teknikkene kan bidra til en demokratisk styring av kunstig intelligens, og sikre at modellene styres av allmennhetens meninger og ikke bare av dem som har skapt dem.
Den offentlige oppfatningen av algokratiet
Hva mener folk flest om disse anvendelsene av kunstig intelligens?
Disse stemmene er mest betegnende for hva samfunnet egentlig føler om å bli helt eller delvis styrt av algoritmiske eller AI-systemer. Og la oss ikke glemme at det offentlige finansierer disse prosjektene gjennom skatt.
En meningsmåling fra 2019 utført av IE Universitys senter for styring av endring i Spania viste at det er varierende grad av offentlig støtte i de europeiske landene til å la kunstig intelligens ta viktige nasjonale beslutninger. Nederland hadde den høyeste oppslutningen med 43%, mens Portugal hadde den laveste med 19%.
Forskere har funnet ut at desillusjonering av politiske ledere eller sikkerhetsleverandører kan øke publikums tilbøyelighet til å velge kunstige agenter, som oppfattes som mer pålitelige.
På sikt kan AI-modeller kanskje fungere som en kalibrator for samfunnsansvarlige myndigheters handlinger, ved å ta imot meninger fra publikum og impregnere dem i AI-modeller for å oppheve noen av de mindre pålitelige utslagene av tradisjonelt demokrati.
Hvis disse teknikkene brukes riktig, kan de til og med på en transparent måte holde myndighetene ansvarlige for folkets demokratiske ønsker.
De fleste eksemplene på algokrati illustrerer imidlertid i dag statlig, snarere enn demokratisk, beslutningstaking.
