När algoritmiska system och system för maskininlärning börjar spridas inom statliga och offentliga sektorer, kan vi då vara på väg mot en form av styrning genom algoritmer - eller en "algokrati"?
Algogracy - en form av algoritmdriven styrning som är besläktad med teknokrati och cyberokrati - tillämpar systematiskt AI, blockchain och algoritmer på olika aspekter av juridik och samhälle.
Själva termen "algokrati" dök upp i den akademiska debatten omkring 2013, men exempel på algoritmisk styrning går tillbaka till 60- och 70-talen.
Algoritmisk bearbetning och maskininlärning eller AI är inte samma sak, men de representerar ett kontinuum av tekniker.
Kärnfrågorna i algoritmisk styrning - att överlåta mänsklig kontroll till datoriserade beslutssystem - har utvecklats från enklare matematiska simuleringar till dagens avancerade självlärande modeller.
Är det något vi bör välkomna eller vara försiktiga med?
Algokratins ursprung
Algoritmisk styrning föddes ur en tid av snabb digitalisering - 1960-talet.
Här är en kort tidslinje över hur algoritmiskt och AI-integrerat beslutsfattande har förekommit i offentliga och statliga projekt:
- 1962: Alexander Kharkevich föreslår ett datanätverk för algoritmisk styrning i Moskva.
- 1971-1973: Projekt Cybersyn i Chile försöker hantera den nationella ekonomin.
- 1970s: Utveckling av tidiga system för juridisk argumentation och tolkning av skattelagstiftning, t.ex. det brittiska LEGOL-projektet och det amerikanska TAXMAN-projektet.
- 1993: Publicering av "Towards a New Socialism", som diskuterar potentialen i en demokratiskt planerad ekonomi byggd på modern datorteknik.
- 2000s: Algoritmer börjar användas för analys av övervakningsvideo.
- 2006: A. Aneesh introducerar begreppet algokrati och diskuterar informationsteknikens inverkan på det offentliga beslutsfattandet.
- 2013: Tim O'Reilly myntade begreppet "algoritmisk reglering" och förespråkade användning av big data och algoritmer i offentlig förvaltning.
- 2017: Ukrainas justitieministerium genomför experimentella statliga auktioner med hjälp av blockchain.
- Idag: Det finns många exempel på maskininlärningssystem som används inom statliga och offentliga sektorer, och vissa av dem har visat sig fatta livsavgörande beslut på hög nivå med minimal mänsklig tillsyn.
Ett av de mest fascinerande projekten är Cybersyn, i Chile, som pågick mellan 1971 och 1973. Trots sin korta livslängd fungerar projektet fortfarande som ett exempel på hur samhället - och människor - framgångsrikt kan modelleras av datorsystem.
Mekaniken bakom är fascinerande, med en föraning om Salvador Allendes CIA-stödda fall och Chiles utveckling in i den förödande Pinochet-eran.
Kärnan i Cybersyn-projektet bestod av fyra huvudkomponenter:
- Ekonomisk simulator: Denna modul utformades för att modellera den chilenska ekonomin, vilket gör det möjligt för regeringstjänstemän att simulera resultaten av olika ekonomiska beslut.
- Programvara för prestanda i fabriken: Anpassad programvara utvecklades för att övervaka och utvärdera fabrikens prestanda, med fokus på nyckelindikatorer som produktionsnivåer och råvarutillgångar.
- Operationsrum (Opsroom): Detta var Cybersyns fysiska nav, där ekonomiska data samlades in, bearbetades och visades. Opsroom gjorde det möjligt för beslutsfattare att snabbt ta till sig komplex information och göra välgrundade val.
- Nationellt nätverk av telexmaskiner: Dessa var kopplade till en stordator och bildade ett kommunikationsnätverk (kallat "Cybernet") mellan de statliga företagen. Detta nätverk underlättade överföringen av ekonomiska data i realtid till centralregeringen.
Project Cybersyn visade sin potential under en nationell strejk bland lastbilschaufförer 1972, där regeringen kunde förlita sig på realtidsdata för att mildra strejkens effekter. Telexnätverket var avgörande för att upprätthålla kommunikationen och samordna resursfördelningen under krisen.
Projektet fick dock ett abrupt slut efter militärkuppen den 11 september 1973. Opsroom och det bredare systemet monterades ned och Cybersyn förblev en ofullbordad vision av ett tekniskt avancerat och potentiellt socialt ansvarsfullt ekonomiskt styrsystem. Cybersyns politik är mycket omdiskuterad, och det står som ett exempel på innovation under socialismen, vilket det har vördats för.
Det finns flera andra tidiga exempel på algokrati, bland annat LEGOL- och TAXMAN-projekten på 1970-talet, som banade väg för automatisering av regelbaserade processer inom skatteförvaltningar. Under de följande årtiondena utvecklades dessa tekniker, och under 2000-talet blev övervakningsapplikationer alltmer framträdande.
År 2006 skrev A. Aneesh i sin bok "Virtuell migration," introducerade begreppet algokrati och undersökte hur informationsteknik kan begränsa människors deltagande i offentligt beslutsfattande, vilket skiljer det från byråkratiska och marknadsbaserade system.
År 2013 myntade Tim O'Reilly, grundare av och VD för O'Reilly Media Inc, begreppet "algoritmisk reglering" och formulerade en vision för styrning som utnyttjar kraften i big data och algoritmer för att uppnå specifika rättsliga resultat, och efterlyste ett paradigmskifte mot en mer effektiv och ansvarsfull styrning.
Mer nyligen, under 2017, genomförde Ukrainas justitieministerium experimentella blockkedjebaserade statliga auktioner (aka. offentlig upphandling), vilket visar på potentialen hos dessa tekniker för att öka transparensen och bekämpa korruption i statliga transaktioner.
Och det tar oss ända fram till den spirande eran med generativ AI och dagens avancerade gränsmodeller.
Offentlig sektor experimenterar med AI och algoritmer
Den offentliga sektorn och statliga myndigheter har experimenterat mycket med algoritmiskt beslutsfattande, AI och maskininlärning under de senaste åren.
En omfattande studie som genomfördes av Stanford University visade att AI- och ML-verktyg används i stor utsträckning inom den federala sektorn i USA, där 45% av myndigheterna kommer att experimentera med dessa tekniker fram till 2020.
Palantir Technologies är en stor kommersiell leverantör inom detta område och bidrar till de kvarvarande applikationerna.
Om man tittar på specifika byråer leder Office of Justice Programs med 12 användningsfall, följt av Securities and Exchange Commission med 10 och NASA med nio. Andra framträdande myndigheter är FDA, USGS, USPS, SSA, USPTO, BLS och US Customs and Border Protection.
Det finns omfattande bevis för partiskhet i vissa av dessa system. Algoritmer för hälso- och sjukvård i USA visade sig vara mindre benägna att remittera svarta patienter för ytterligare vård, och prediktiva polisverktyg som COMPAS har anklagats för rasistiska fördomar när det gäller att förutse risken för återfall i brott (recidivism) och utdömande av straff.
En ny Guardians undersökning i den offentliga sektorn i Storbritannien visade att algoritmer som används inom områden som välfärd, invandring och straffrätt har varit inblandade i fall av missbruk och diskriminering.
Bland annat har Department for Work and Pensions (DWP) fått kritik för en algoritm som påstås ha lett till felaktiga indragningar av förmåner, och Metropolitan Police's ansiktsigenkänningsverktyg visade högre felfrekvenser för svarta ansikten.
Rättvisa genom AI och algoritm
En annan gren av algokratin är algoritmiskt eller AI-influerat rättsväsende och brottsbekämpning.
Utöver det amerikanska COMPAS-systemet finns i Australien även "Split Up" programvara hjälper domare att fastställa tillgångsfördelningen vid skilsmässor, och Kina har varit först med att inrätta internetdomstolar, där en virtuell AI-domare hjälper till med grundläggande uppgifter i samband med tvister.
Den nederländska regeringens erfarenhet av Systemriskindikation (SyRI) algoritm, som utformats för att upptäcka bedrägerier inom socialvården, mötte rättsliga utmaningar på grund av dess potentiella diskriminerande effekter och brist på transparens, vilket ledde till ett banbrytande domstolsbeslut mot dess användning.
Brasiliens införande av teknik för ansiktsigenkänning i São Paulo genom Smart Sampa-projektet och andra former av prediktivt polisarbete, inklusive flera program i USA, visar på teknikens potential att påverka styrningen av människors grundläggande friheter.
Palantirs Gotham-programvara har använts av New Orleans Police Department sedan 2012 för prediktivt polisarbete, och nyare iterationer har förklarats vara ett misslyckandevilket leder till fördomar mot marginaliserade grupper och slöseri med polisens resurser.
Dessutom tar law-bots i allt högre grad på sig uppgifter som traditionellt sköts av paralegals, med teknik som ROSS Intelligence som hjälper amerikanska advokatbyråer med juridisk forskning.
Det har nyligen rapporterats om advokater som använder generativ AI, inklusive ChatGPT, för att hjälpa till med fallstudier - inklusive en högprofilerad incident där en advokat lämnade in rättsliga anspråk med AI-fabricerade fall.
AI-politiker ställer upp i valet
Att helt ersätta politiker med AI har varit föremål för många spekulationer, bland annat i en podcast nyligen av Joe Rogan och OpenAI:s VD Sam Altman.
Joe Rogan tar upp ämnet och säger att AI skulle kunna visa sig vara mer objektivt kapabelt att gynna människors specifika behov som är fristående från finansiella och politiska influenser.
Altman håller med om att konventionellt statligt beslutsfattande ofta grundas på korrupta motiv, men är inte bekväm med att överlåta viktiga samhällsbeslut till AI.
År 2018 ställde Michihito Matsuda upp i borgmästarvalet i Tokyos stadsdel Tama som mänsklig proxy för ett AI-programdär man presenterade en ny metod för politisk kandidatur. Trots att initiativet inte vann belyste det potentialen för AI inom politiken.
Cesar Hidalgo introducerade 2018 begreppet förstärkt demokrati, som innebär att man föreslår lagstiftning genom digitala tvillingar av individer. Hidalgo sade"Demokratin kan uppdateras eller förbättras med hjälp av teknik och nya idéer, det är jag helt övertygad om."
År 2022 kommer "Ledare Lars," en chatbot, nominerades till att ställa upp i det danska folketingsvalet som representant för Syntetpartiet.
Till skillnad från sina föregångare ledde Leader Lars ett politiskt parti och deltog i kritiska politiska diskussioner utan att göra anspråk på att vara objektiv, vilket ger en ny dimension till begreppet virtuella politiker.
Fördelar med och kritik mot algokrati
Algocracys fördelar faller vanligtvis under paraplyet "effektivitet". Att använda AI och algoritmer för att fatta komplexa beslut är snabbare än att förlita sig på människor.
Detta är särskilt fördelaktigt i komplexa delar av den offentliga sektorn, som redan är hårt belastad av förseningar.
Frestelsen att experimentera med AI-drivet beslutsfattande är således enorm, och det är därför det finns så många anmärkningsvärda exempel från den offentliga sektorn inom resurskrävande avdelningar som juridik, ekonomi och välfärd.
Det är en utmaning att få förtroende för dessa verktyg, eftersom regeringarna inte vill att deras egenutvecklade modeller ska exponeras, eftersom det kan leda till att känsliga uppgifter blir utsatta för hot. Därför hålls många av dessa projekt mycket hemliga, vilket bidrar till deras risker.
Yuval Noah Harari, historiker och författare till bästsäljare som "Sapiens" och "Homo Deus", har påpekat att den pågående konflikten mellan demokratiska och auktoritära regimer kan ses som en kamp mellan två databehandlingssystem, där AI och algoritmer potentiellt kan tippa balansen mot centralisering och kontroll.
Harari framhåller att AI:s förmåga att manipulera språket och skapa övertygande innehåll kan äventyra demokratin. Det handlar inte bara om att AI producerar partisk eller falsk information, utan också om dess förmåga att efterlikna mänskliga samtal och påverka den allmänna opinionen utan att det upptäcks.
Harari beskriver vidare hur AI kan skapa ekokammare, som auktoritära regimer kan utnyttja mer effektivt än demokratier. Auktoritära regeringar, med sin centraliserade kontroll över data och mindre oro för integritet eller etiska begränsningar, skulle kunna använda AI mer aggressivt för att övervaka och manipulera den allmänna opinionen.
Det finns metoder för att åtgärda detta. Till exempel har AI-startupen Anthropic ägnat betydande forskning åt att "konstitutionell AI", och mer specifikt, "kollektiv konstitutionell AI," som matar in människors åsikter i en AI-modell för att "crowdsourca" sina värderingar från den allmänna befolkningen.
Dessa tekniker skulle kunna bidra till en demokratisk styrning av AI och säkerställa att modellerna styrs av allmänhetens åsikter snarare än enbart av deras skapare.
Allmänhetens uppfattning om algokrati
Vad anser majoriteten av befolkningen om dessa tillämpningar av AI?
Dessa röster är mest vägledande för vad samhället verkligen känner inför att helt eller delvis styras av algoritmiska system eller AI-system. Och låt oss inte glömma att allmänheten finansierar dessa projekt via skatten.
En undersökning från 2019 genomförd av IE Universitys centrum för styrning av förändring i Spanien visade på varierande nivåer av offentligt stöd i olika europeiska länder för att låta AI fatta viktiga nationella beslut. Nederländerna hade det högsta stödet med 43%, medan Portugal hade det lägsta med 19%.
Forskare har funnit att besvikelse över politiska ledare eller säkerhetsleverantörer kan öka allmänhetens benägenhet att välja artificiella agenter, som uppfattas som mer tillförlitliga.
Med tiden kanske AI-modeller kan fungera som en kalibrator för socialt ansvarsfulla statliga åtgärder, genom att ta in åsikter från allmänheten och impregnera dem i AI-modeller för att upphäva några av de mindre pålitliga manifestationerna av traditionell demokrati.
Om dessa tekniker används på rätt sätt kan de till och med på ett transparent sätt hålla regeringarna ansvariga för folkets demokratiska önskemål.
Hittills har dock de flesta exempel på algokrati illustrerat statligt, snarare än demokratiskt, beslutsfattande.
