En ny våg av AI-förstärkt övervakning sprider sig över USA och Storbritannien, när privata företag och myndigheter använder AI-drivna kameror för att analysera folkmassor, upptäcka potentiella brott och till och med övervaka människors känslomässiga tillstånd på offentliga platser.
I Storbritannien testade Network Rail, som ansvarar för järnvägsinfrastrukturen, nyligen AI-kameror på åtta tågstationer, däribland stora knutpunkter som stationerna Waterloo och Euston i London samt Manchester Piccadilly.
Dokument erhållen av gruppen för medborgerliga fri- och rättigheter Big Brother Titta på avslöjade att kamerorna syftade till att upptäcka intrång på spåren, överbeläggning på plattformarna, "antisocialt beteende" som skateboardåkning och rökning samt potentiella cykelstölder.
Det mest oroande är att AI-systemet, som drivs av Amazons Rekognition-programvara, försökte analysera människors ålder, kön och känslor som lycka, sorg och ilska när de passerade virtuella "snubbeltrådar" nära biljettspärrar.
⚠️We har tagit del av dokument som avslöjar att åtta tågstationer testades Amazons AI-övervakningsprogramvara med sina CCTV-kameror - där vissa analyserar passagerarnas ålder, kön och känslor
"Utrullningen och normaliseringen av AI-övervakning i dessa offentliga utrymmen, utan mycket... pic.twitter.com/dJLS75ZURH
- Big Brother Watch (@BigBrotherWatch) 17 juni 2024
I Network Rail-rapporten, som delvis är redigerad, står det att det fanns "en kamera på varje station (vanligtvis gatukameran), där en ögonblicksbild togs varje sekund när människor korsade snubbeltråden och skickades för analys av AWS Rekognition."
Sedan står det: "Potentiellt skulle mätningen av kundkänsla kunna användas för att mäta tillfredsställelse" och "Dessa uppgifter skulle kunna användas för att maximera reklam- och detaljhandelsintäkterna. Detta var dock svårt att kvantifiera eftersom NR Properties aldrig engagerades på ett framgångsrikt sätt."
Amazon Rekogniton, en maskininlärningsplattform för datorseende (CV) från Amazon, kan faktiskt upptäcka känslor. Detta var dock bara ett pilottest, och dess effektivitet är oklar.
Rapporten säger att när kameror användes för att räkna personer som passerade järnvägsbommar var "noggrannheten över bommarna genomgående dålig, med en genomsnittlig noggrannhet på cirka 50% till 60% jämfört med manuell räkning", men detta förväntas bli bättre.
Polisens användning av ansiktsigenkänningsteknik har också gett upphov till oro. För inte så länge sedan, Londons Metropolitan Police använde kameror för ansiktsigenkänning att identifiera och gripa 17 personer i Croydon- och Tootingområdena i staden.
Tekniken jämför livekameraflöden med en bevakningslista över personer med utestående häktningsorder som en del av "precisionspolicing".
I februari använde polisen systemet för att göra 42 gripanden, men det är oklart hur många som ledde till formella åtal.
"Utrullningen och normaliseringen av AI-övervakning i dessa offentliga utrymmen, utan mycket samråd och samtal, är ett ganska oroande steg", kommenterade Jake Hurfurt, forskningschef på Big Brother Watch.
Dina känslor i en databas
Kritiker har med kraft hävdat att ansiktsigenkänning hotar de medborgerliga fri- och rättigheterna.
Parlamentsledamöter i Storbritannien uppmanade polisen att tänka om hur de använder tekniken efter att ha föreslagit att de kunde få tillgång till en databas med 45 miljoner passfoton för att bättre träna dessa övervakningsmodeller.
Experter ifrågasätter också ansiktsigenkänningens noggrannhet och rättsliga grund, med Big Brother Titta på argumenterande att majoriteten (85%+) av den brittiska polisens ansiktsigenkänningsmatcher är felidentifieringar.
Tjänstemän vid Met Police försökte dämpa farhågorna för den personliga integriteten genom att säga att bilder som inte matchar snabbt raderas och att systemet för ansiktsigenkänning har granskats av en oberoende part.
Men prat är billigt när missbruket av dessa AI-system verkligen påverkar människors liv. Program för förebyggande polisarbete i US har också i allmänhet misslyckats med att uppnå sina mål och orsakat indirekta skador i form av polistrakasserier och felaktiga frihetsberövanden.
Oro för fördomar och felaktigheter i system för ansiktsigenkänning, särskilt för mörkhyade personer, har varit en viktig stridsfråga.
Studier har visat att tekniken kan vara betydligt mindre exakt för mörkhyade ansikten, särskilt svarta kvinnor.
De politiska beslutsfattarna kommer att behöva ta ställning till svåra frågor om dessa kraftfulla verktygs transparens, ansvarighet och reglering.
En stark offentlig debatt och tydliga rättsliga ramar kommer att vara avgörande för att säkerställa att fördelarna med AI inom allmän säkerhet och trygghet inte uppvägs av riskerna för individuella rättigheter och demokratiska värden.
Eftersom tekniken rusar framåt kan tiden för denna räkenskap vara kort.
