De Londense ondergrondse gebruikte AI-bewakingstechnologie in een proef die een jaar duurde.
Van oktober 2022 tot september 2023 testte Transport for London (TfL) 11 verschillende algoritmen op het metrostation Willesden Green, in het noordwesten van de stad.
Volgens gedetailleerde documenten die zijn verkregen door WIREDTijdens de proef werden de bewegingen, gedragingen en lichaamstaal van duizenden passagiers gevolgd om mogelijke criminele activiteiten en veiligheidsrisico's te identificeren.
De AI-software, gekoppeld aan live camerabeelden (wat de computer vision (CV) tak van machine learning is), werd getraind om agressief gedrag, wapens, ontduiking van de ritprijs en ongelukken, zoals mensen die mogelijk op het spoor vallen, te herkennen.
De Britse politie heeft eerder geëxperimenteerd met AI-surveillance en doet dat nog steeds bij sommige openbare evenementen, zoals bij een Beyonce concert vorig jaar.
Echter, het is vaak niet effectief, en mensenrechtengroeperingen hebben de technologie bekritiseerd en noemen het een problematische inbreuk op de privacy en een bron van vooroordelen en discriminatie.
AI-videotechnologie heeft een problematische geschiedenis, met talloze projecten wereldwijd onderpresteren terwijl ze soms mensen met een donkere huidskleur in verband brengen met misdaden die ze niet hebben gepleegd.
Tijdens de proefperiode van TfL werden ongeveer 44.000 waarschuwingen gegenereerd, waarvan er ongeveer 19.000 direct werden doorgegeven aan het personeel voor interventie.
Agenten namen deel aan tests door met wapens zoals machetes en pistolen te zwaaien binnen het gezichtsveld van de CCTV (zij het op tijden dat het station gesloten was), met als doel de AI beter te trainen.
Hier is de volledige lijst met resultaten:
- Totaal waarschuwingen: Het AI-systeem heeft meer dan 44.000 waarschuwingen afgegeven.
- Real-time waarschuwingen voor stationsmedewerkers: 19.000 werden in realtime geleverd aan het stationspersoneel voor onmiddellijke actie.
- Waarschuwingen voor ontduiking: Het AI-systeem genereerde 26.000 waarschuwingen met betrekking tot tariefontduiking.
- Rolstoel waarschuwingen: Er waren 59 waarschuwingen met betrekking tot rolstoelgebruikers op het station, waar geen goede voorzieningen zijn voor rolstoelgebruikers.
- Veiligheidslijn waarschuwingen: Er werden er bijna 2.200 uitgeschreven voor personen die de gele veiligheidslijnen op perrons overschreden.
- Platformrandwaarschuwingen: Het systeem genereerde 39 waarschuwingen voor mensen die over de rand van de treinperrons leunden.
- Uitgebreide zitbank waarschuwingen: Bijna 2.000 waarschuwingen hadden betrekking op personen die langere tijd op een bank zaten, wat op verschillende problemen kan duiden, zoals het welzijn van passagiers of veiligheidsrisico's.
- Waarschuwingen voor agressief gedrag: Er waren 66 waarschuwingen met betrekking tot agressief gedrag, hoewel het AI-systeem moeite had om dergelijke incidenten betrouwbaar te detecteren vanwege onvoldoende trainingsgegevens.
Het AI-systeem presteerde echter niet goed in sommige scenario's, wat leidde tot foutieve resultaten, zoals het markeren van kinderen die door ticketbarrières lopen als mogelijke tariefontduiking.
Volgens TfL is het uiteindelijke doel om een veiligere, efficiëntere metro te creëren die zowel het publiek als het personeel beschermt.
AI-surveillancetechnologie is niet per definitie afschuwelijk als deze wordt gebruikt voor openbare veiligheid, maar als de technologie er eenmaal is, is het lastig om deze onder controle te houden.
Er is al bewijs van AI-misbruik in de Britse publieke sectoren schandalen in andere landen geven aan dat dit een glibberig pad is als je er niet voorzichtig mee omgaat.
