Zouden we, nu algoritmische en machinaal lerende systemen steeds vaker voorkomen in overheids- en publieke sectoren, misschien afstevenen op een vorm van bestuur door algoritmen - of een "algocratie?
Algogracy - een vorm van algoritmegestuurd bestuur die verwant is aan technocratie en cyberocratie - past AI, blockchain en algoritmen systematisch toe op verschillende aspecten van het recht en de samenleving.
De term "algocratie" zelf dook op in het academisch discours rond 2013, maar voorbeelden van algoritmisch bestuur dateren al van de jaren 60 en 70 van de vorige eeuw.
Hoewel algoritmische verwerking en machine learning of AI niet hetzelfde zijn, vormen ze wel een continuüm van technologieën.
De kernthema's van algoritmisch bestuur - het overdragen van menselijke controle aan geautomatiseerde besluitvormingssystemen - hebben zich ontwikkeld van eenvoudige wiskundige simulaties tot de geavanceerde zelflerende modellen van vandaag.
Is het iets waar we blij mee moeten zijn of juist op onze hoede?
Oorsprong van algocratie
Algoritmisch bestuur werd geboren in een tijdperk van snelle digitalisering - de jaren 1960.
Hier volgt een korte tijdlijn van algoritmische en AI-geïntegreerde besluitvorming in openbare en overheidsprojecten:
- 1962: Alexander Kharkevich stelt een computernetwerk voor algoritmisch bestuur voor in Moskou.
- 1971-1973: Project Cybersyn in Chili probeert de nationale economie te beheren.
- 1970s: Ontwikkeling van vroege systemen voor juridische redenering en interpretatie van belastingwetgeving, zoals het LEGOL-project in het VK en het TAXMAN-project in de VS.
- 1993: Publicatie van "Op weg naar een nieuw socialisme", waarin het potentieel wordt besproken van een democratische planeconomie gebaseerd op moderne computertechnologie.
- 2000s: Algoritmen beginnen te worden gebruikt voor de analyse van bewakingsvideo's.
- 2006: A. Aneesh introduceert het concept algocratie en bespreekt de impact van informatietechnologieën op publieke besluitvorming.
- 2013: Tim O'Reilly bedacht de term "algoritmische regulering" en pleitte voor het gebruik van big data en algoritmen in de overheid.
- 2017: Oekraïens ministerie van Justitie voert experimentele overheidsveilingen uit met behulp van blockchain.
- Vandaag: Er zijn talloze voorbeelden van machine-leersystemen die worden ingezet in overheids- en publieke sectoren, waarvan bewezen is dat ze levensveranderende beslissingen op hoog niveau nemen met minimaal menselijk toezicht.
Een van de meest fascinerende projecten is Cybersynin Chili, dat liep van 1971 tot 1973. Ondanks de korte levensduur dient het project nog steeds als voorbeeld van hoe de samenleving - en mensen - succesvol gemodelleerd kunnen worden door computersystemen.
De mechanismen erachter zijn fascinerend, voorafgegaan door de door de CIA gesteunde val van Salvador Allende en de overgang van Chili naar het verwoestende Pinochet-tijdperk.
De kern van Project Cybersyn bestond uit vier hoofdcomponenten:
- Economische simulator: Deze module is ontworpen om de Chileense economie te modelleren, zodat overheidsfunctionarissen de uitkomsten van verschillende economische beslissingen kunnen simuleren.
- Software voor prestaties in de fabriek: Er werd aangepaste software ontwikkeld om de prestaties van de fabriek te controleren en te evalueren, met de nadruk op belangrijke indicatoren zoals productieniveaus en grondstofvoorraden.
- Operatiekamer (Opsroom): Dit was het fysieke centrum van Cybersyn, waar economische gegevens werden verzameld, verwerkt en weergegeven. De Opsroom stelde besluitvormers in staat om complexe informatie snel te verwerken en weloverwogen keuzes te maken.
- Nationaal netwerk van telexapparaten: Deze werden gekoppeld aan een mainframe computer en vormden een communicatienetwerk (het zogenaamde 'Cybernet') tussen staatsbedrijven. Dit netwerk maakte de realtime-overdracht van economische gegevens naar de centrale overheid mogelijk.
Project Cybersyn bewees zijn potentieel tijdens een nationale truckersstaking in 1972, waarbij de overheid kon vertrouwen op real-time gegevens om de gevolgen van de staking te beperken. Het telexnetwerk was cruciaal voor het onderhouden van de communicatie en het coördineren van de distributie van middelen tijdens de crisis.
Het project eindigde echter abrupt na de militaire coup van 11 september 1973. De Opsroom en het bredere systeem werden ontmanteld en Cybersyn bleef een onvoltooide visie van een technologisch geavanceerd en potentieel sociaal verantwoord economisch beheerssysteem. Over de politiek van Cybersyn wordt veel gedebatteerd, maar het staat bekend als een voorbeeld van innovatie onder het socialisme, waarvoor het wordt vereerd.
Er zijn verschillende andere vroege voorbeelden van algocratie, waaronder de LEGOL- en TAXMAN-projecten in de jaren 1970, die de weg vrijmaakten voor de automatisering van op regels gebaseerde processen in belastingdiensten. De daaropvolgende decennia waren getuige van de evolutie van deze technologieën, met bewakingstoepassingen die prominent werden in de jaren 2000.
In 2006 schreef A. Aneesh in zijn boek "Virtuele migratieintroduceerde het concept algocratie en onderzocht hoe informatietechnologieën de menselijke deelname aan publieke besluitvorming zou kunnen beperken, waardoor het zich onderscheidt van bureaucratische en marktgebaseerde systemen.
In 2013 bedacht Tim O'Reilly, oprichter en CEO van O'Reilly Media Inc., de term "algoritmische regulering". Hij verwoordde een visie voor bestuur dat de kracht van big data en algoritmen inzet om specifieke juridische resultaten te bereiken en riep op tot een paradigmaverschuiving naar efficiënter en verantwoordelijk bestuur.
Meer recentelijk, in 2017, voerde het Oekraïense ministerie van Justitie een experimenteel op blockchain gebaseerde overheidsveilingen (ook bekend als openbare aanbestedingen), waarbij het potentieel van deze technologieën om de transparantie te verbeteren en corruptie bij overheidstransacties tegen te gaan, wordt getoond.
En dat brengt ons bij het ontluikende tijdperk van generatieve AI en de geavanceerde grensmodellen van vandaag.
Experimenten van de publieke sector met AI en algoritmen
Publieke sector en overheidsinstellingen hebben de afgelopen jaren flink geëxperimenteerd met algoritmische besluitvorming, AI en machine learning.
Een uitgebreid onderzoek uitgevoerd door de universiteit van Stanford onthulde de significante toepassing van AI- en ML-tools in de Amerikaanse federale sector, waarbij 45% van de agentschappen tegen 2020 met deze technologieën zal experimenteren.
Palantir Technologieën is een belangrijke commerciële leverancier in deze ruimte, die bijdraagt aan de resterende toepassingen.
Kijken we naar specifieke agentschappen, dan staat het Office of Justice Programs aan de leiding met 12 use cases, gevolgd door de Securities and Exchange Commission met 10 en NASA met negen. Andere prominente instanties zijn de FDA, USGS, USPS, SSA, USPTO, BLS en US Customs and Border Protection.
Er is wijdverspreid bewijs van vertekening bij sommige van deze systemen. Algoritmen in de gezondheidszorg in de VS bleken minder geneigd om zwarte patiënten door te verwijzen voor extra zorg en voorspellende politietools zoals COMPAS zijn beschuldigd van raciale vooroordelen bij het voorspellen van recidivegevaar en veroordeling.
Een recente Onderzoek Guardian In een onderzoek naar de publieke sector in het Verenigd Koninkrijk werd ontdekt dat algoritmen die worden gebruikt op gebieden als welzijn, immigratie en strafrecht betrokken zijn bij misbruik en discriminatie.
Met name het Department for Work and Pensions (DWP) kreeg kritiek te verduren vanwege een algoritme dat naar verluidt leidde tot onterechte opschortingen van uitkeringen, en de gezichtsherkenningstool van de Metropolitan Police vertoonde hogere foutpercentages voor zwarte gezichten.
Gerechtigheid door AI en algoritme
Een andere tak van algocratie is algoritmische of AI-beïnvloede rechtspraak en wetshandhaving.
Naast het COMPAS-systeem in de VS is in Australië het "Software "Split Up helpt rechters bij het bepalen van de verdeling van bezittingen tijdens echtscheidingsprocedures en China heeft baanbrekend werk verricht met de oprichting van internetrechtbanken, waarbij een virtuele AI-rechter helpt bij basistaken in rechtszaken.
De ervaring van de Nederlandse overheid met de Systeem Risico Indicatie (SyRI) algoritme, ontworpen om fraude met sociale uitkeringen op te sporen, werd juridisch aangevochten vanwege de mogelijk discriminerende effecten en het gebrek aan transparantie, wat leidde tot een baanbrekende rechterlijke uitspraak tegen het gebruik ervan.
De toepassing van gezichtsherkenningstechnologie door Brazilië in São Paulo via de Smart Sampa project en andere vormen van predictive policing, waaronder verschillende programma's in de VS, geeft het potentieel van technologie aan om het bestuur van de fundamentele vrijheden van mensen te beïnvloeden.
Palantir's Gotham software wordt al sinds 2012 gebruikt door de New Orleans Police Department voor predictive policing, en nieuwere versies mislukt zijn verklaardDit leidt tot vooroordelen voor gemarginaliseerde gemeenschappen en verspilling van politiemiddelen.
Daarnaast nemen law-bots steeds meer taken over die traditioneel door paralegals werden uitgevoerd, waarbij technologieën zoals ROSS Intelligence Amerikaanse advocatenkantoren helpen bij juridisch onderzoek.
Er zijn onlangs meldingen geweest van advocaten die generatieve AI gebruiken, waaronder ChatGPT, om te helpen bij het onderzoeken van zaken - waaronder een spraakmakend incident waarbij een advocaat juridische claims indiende met AI-gefabriceerde zaken.
AI-politici stellen zich kandidaat
Het volledig vervangen van politici door AI is het onderwerp geweest van veel speculatie, onder andere in een recente podcast van Joe Rogan en OpenAI CEO Sam Altman.
Joe Rogan brengt het onderwerp ter sprake en zegt dat AI objectiever in staat zou kunnen blijken om te profiteren van de specifieke behoeften van mensen, los van financiële en politieke invloeden.
Altman is het ermee eens dat conventionele overheidsbesluiten vaak gebaseerd zijn op corrupte motieven, maar voelt zich niet prettig bij het overmatig vertrouwen van AI in belangrijke maatschappelijke beslissingen.
In 2018 stelde Michihito Matsuda zich verkiesbaar als burgemeester in het stadsdeel Tama in Tokio. menselijke proxy voor een AI-programmaeen nieuwe benadering van politieke kandidatuur. Ondanks het feit dat dit initiatief niet won, benadrukte het de mogelijkheden van AI in de politiek.
Cesar Hidalgo introduceerde het concept van augmented democracy in 2018, door wetgeving voor te stellen via digitale tweelingen van individuen. Hidalgo zei"Democratie kan worden bijgewerkt of verbeterd met behulp van technologie en nieuwe ideeën, daar ben ik absoluut van overtuigd."
In 2022, "Leider Lars," een chatbot, werd genomineerd om mee te doen aan de Deense parlementsverkiezingen als vertegenwoordiger van de Synthetische Partij.
In tegenstelling tot zijn voorgangers leidde Leader Lars een politieke partij en voerde hij kritische politieke discussies zonder te beweren objectief te zijn, waardoor een nieuwe dimensie werd toegevoegd aan het concept van virtuele politici.
Voordelen en kritiek van algocratie
De voordelen van Algocracy vallen meestal onder de noemer "efficiëntie". AI en algoritmen gebruiken om complexe beslissingen te nemen is sneller dan vertrouwen op mensen.
Dit is vooral gunstig in complexe sectoren van de publieke sector, die al onder druk staan door vertragingen.
De verleiding om te experimenteren met AI-aangedreven besluitvorming is dus enorm, vandaar dat er zo veel opmerkelijke voorbeelden in de publieke sector zijn op afdelingen met beperkte middelen, zoals recht, justitie, economie en welzijn.
Het is een uitdaging om vertrouwen te krijgen in deze tools, omdat overheden niet willen dat hun gepatenteerde modellen openbaar worden gemaakt, omdat dit gevoelige gegevens bloot kan stellen aan bedreigingen. Daarom worden veel van deze projecten zeer geheim gehouden, wat bijdraagt aan hun risico's.
Historicus en auteur van bestsellers als "Sapiens" en "Homo Deus", Yuval Noah Harari, heeft erop gewezen dat het huidige conflict tussen democratische en autoritaire regimes kan worden gezien als een strijd tussen twee gegevensverwerkende systemen, waarbij AI en algoritmen de balans mogelijk doen doorslaan naar centralisatie en controle.
Harari benadrukt dat het vermogen van AI om taal te manipuleren en overtuigende inhoud te genereren de democratie in gevaar kan brengen. De bezorgdheid betreft niet alleen het feit dat AI bevooroordeelde of valse informatie produceert, maar ook het vermogen om menselijke conversaties na te bootsen en de publieke opinie ongemerkt te beïnvloeden.
Harari beschrijft verder hoe AI echokamers zou kunnen creëren, die autoritaire regimes effectiever zouden kunnen inzetten dan democratieën. Autoritaire regeringen, met hun gecentraliseerde controle over gegevens en minder aandacht voor privacy of ethische beperkingen, zouden AI agressiever kunnen inzetten om de publieke opinie in de gaten te houden en te manipuleren.
Er zijn methoden om dit te verhelpen. AI startup Anthropic heeft bijvoorbeeld veel onderzoek gedaan naar "constitutionele AI," en meer specifiek, "collectieve grondwet AIdie de meningen van mensen voedt met een AI-model om de waarden van de algemene bevolking te 'crowdsourcen'.
Deze technieken zouden op democratische wijze kunnen bijdragen aan AI-governance, door ervoor te zorgen dat modellen zich laten leiden door de publieke opinie in plaats van alleen door die van hun makers.
Publieke opinie over algocratie
Hoe denken de meeste mensen over deze toepassingen van AI?
Die stemmen zijn het meest indicatief voor wat de samenleving echt voelt over het geheel of gedeeltelijk geregeerd worden door algoritmische of AI-systemen. En laten we niet vergeten dat het publiek deze projecten financiert via belastingen.
Een peiling uit 2019 uitgevoerd door IE University's Centrum voor Bestuur van Verandering in Spanje toonde aan dat er in de Europese landen verschillende niveaus van publieke steun zijn om AI belangrijke nationale beslissingen te laten nemen. Nederland toonde de hoogste goedkeuring met 43%, terwijl Portugal de laagste goedkeuring had met 19%.
Onderzoekers hebben ontdekt dat ontgoocheling over politieke leiders of veiligheidsleveranciers de neiging van het publiek naar kunstmatige agenten, die als betrouwbaarder worden gezien, kan vergroten.
Op termijn kunnen AI-modellen misschien fungeren als kalibrator voor maatschappelijk verantwoord overheidsoptreden, waarbij meningen van het publiek worden opgevangen en in AI-modellen worden geïmpregneerd om een aantal van de minder betrouwbare uitingen van de traditionele democratie teniet te doen.
Als deze technieken correct worden uitgevoerd, kunnen ze regeringen zelfs op transparante wijze verantwoordelijk houden voor de democratische wensen van het volk.
Tot op heden illustreren de meeste voorbeelden van algocratie echter eerder staats- dan democratische besluitvorming.
