Een nieuwe golf van AI-ondersteunde surveillance verspreidt zich over de VS en het VK, nu particuliere bedrijven en overheidsinstellingen AI-ondersteunde camera's inzetten om mensenmassa's te analyseren, potentiële misdaden op te sporen en zelfs de emotionele toestand van mensen in openbare ruimten in de gaten te houden.
In het Verenigd Koninkrijk heeft Network Rail onlangs AI-camera's getest op acht treinstations, waaronder belangrijke hubs zoals de Londense stations Waterloo en Euston en Manchester Piccadilly.
Documenten verkregen door burgervrijheidsgroep Big Brother Kijk op onthullen dat de camera's bedoeld zijn om verboden toegang tot het spoor, overbevolking op perrons, "asociaal gedrag" zoals skateboarden en roken, en mogelijke fietsendiefstal te detecteren.
Het meest verontrustende was dat het AI-systeem, aangedreven door Amazons Rekognition software, probeerde de leeftijd, het geslacht en emoties zoals blijdschap, verdriet en woede van mensen te analyseren wanneer ze virtuele "tripwires" passeerden in de buurt van ticketbarrières.
⚠️We heeft documenten ontdekt waaruit blijkt dat acht treinstations AmazonAI-surveillancesoftware met hun CCTV-camera's - waarbij sommige de leeftijd, het geslacht en de emoties van passagiers analyseren.
"De uitrol en normalisatie van AI-surveillance in deze openbare ruimten, zonder veel... Pic.twitter.com/dJLS75ZURH
- Big Brother Watch (@BigBrotherWatch) 17 juni 2024
Het rapport van Network Rail, waarvan een deel is geredigeerd, zegt dat er "één camera was op elk station (over het algemeen de poortcamera), waar elke seconde een momentopname werd gemaakt wanneer mensen de struikeldraad overstaken en deze werd verzonden voor analyse door AWS Rekognition".
Vervolgens staat er: "In potentie zou de meting van de emotie van de klant gebruikt kunnen worden om de tevredenheid te meten" en "Deze gegevens zouden gebruikt kunnen worden om de reclame- en winkelinkomsten te maximaliseren. Dit was echter moeilijk te kwantificeren omdat NR Properties nooit met succes werden ingeschakeld."
Amazon Rekogniton, een computer vision (CV) machine learning platform van Amazon, kan inderdaad emoties detecteren. Dit was echter slechts een piloottest en de effectiviteit is onduidelijk.
In het rapport staat dat bij het gebruik van camera's voor het tellen van mensen die spoorwegpoortjes oversteken, "de nauwkeurigheid over de poortlijnen uniform slecht was, met een gemiddelde nauwkeurigheid van ongeveer 50% tot 60% in vergelijking met handmatig tellen", maar dit zal naar verwachting verbeteren.
Het gebruik van gezichtsherkenningstechnologie door wetshandhavers heeft ook tot bezorgdheid geleid. Niet lang geleden heeft de Londense Metropolitan Police live gezichtsherkenningscamera's gebruikt om 17 personen te identificeren en te arresteren in Croydon en Tooting.
De technologie vergelijkt live camerabeelden met een controlelijst van personen met een openstaand arrestatiebevel als onderdeel van "precision policing".
In februari gebruikte de politie het systeem om 42 arrestaties te verrichten, maar het is onduidelijk hoeveel daarvan tot een formele aanklacht leidden.
"Het uitrollen en normaliseren van AI-surveillance in deze openbare ruimtes, zonder veel overleg en conversatie, is een verontrustende stap", zegt Jake Hurfurt, hoofd onderzoek bij Big Brother Watch.
Je emoties in een database
Critici hebben fel betoogd dat gezichtsherkenning de burgerlijke vrijheden bedreigt.
Parlementsleden in het Verenigd Koninkrijk drong er bij de politie op aan om te heroverwegen hoe ze de technologie inzetten nadat ze suggereerden dat ze toegang konden krijgen tot een database van 45 miljoen pasfoto's om deze bewakingsmodellen beter te trainen.
Deskundigen zetten ook vraagtekens bij de nauwkeurigheid en wettelijke basis van gezichtsherkenning, met Big Brother Ruzie maken dat de meerderheid (85%+) van de gezichtsherkenningsmatches van de Britse politie verkeerde identificaties zijn.
Ambtenaren van de politie probeerden de angst voor privacy weg te nemen door te verklaren dat afbeeldingen die niet overeenkomen snel worden verwijderd en dat het gezichtsherkenningssysteem onafhankelijk is gecontroleerd.
Maar praatjes zijn goedkoop als het misbruik van deze AI-systemen echt invloed heeft op het leven van mensen. Voorspellende politieprogramma's in de US hebben over het algemeen ook hun doelen niet bereikt en hebben bijkomende schade veroorzaakt in de vorm van pesterijen door de politie en onterechte opsluitingen.
Zorgen over vooroordelen en onnauwkeurigheid in gezichtsherkenningssystemen, vooral bij gekleurde mensen, zijn een belangrijk twistpunt geweest.
Studies hebben aangetoond de technologie aanzienlijk minder nauwkeurig kan zijn voor gezichten met een donkere huidskleur, vooral bij zwarte vrouwen.
Beleidsmakers zullen moeten worstelen met moeilijke vragen over de transparantie, verantwoordingsplicht en regulering van deze krachtige hulpmiddelen.
Om ervoor te zorgen dat de voordelen van AI voor de openbare veiligheid niet teniet worden gedaan door de risico's voor individuele rechten en democratische waarden, zijn een stevig publiek debat en duidelijke wettelijke kaders van cruciaal belang.
Nu de technologie steeds sneller gaat, kan de tijd voor die afrekening kort zijn.
