Londons tunnelbana använde AI-övervakningsteknik i ett årslångt försök.
Under perioden oktober 2022 till september 2023 testade Transport for London (TfL) 11 olika algoritmer vid tunnelbanestationen Willesden Green, som ligger i den nordvästra delen av staden.
Enligt detaljerade dokument som erhållits av KABLARI rättegången övervakades tusentals passagerares rörelser, beteenden och kroppsspråk för att identifiera potentiella brottsliga aktiviteter och säkerhetsrisker.
AI-mjukvaran, som kopplades till livebilder från övervakningskameror (vilket är en gren av maskininlärning som handlar om datorseende), tränades att identifiera aggressiva beteenden, vapen, biljettflykt och olyckor, t.ex. att människor kan falla ner på spåren.
Den brittiska polisen har tidigare experimenterat med AI-övervakning och fortsätter att göra det vid vissa offentliga evenemang, som de gjorde vid en Beyonce-konsert förra året.
Men.., det är ofta varit ineffektiva, och människorättsgrupper har kritiserat tekniken och kallat den ett besvärande intrång i privatlivet och en källa till fördomar och diskriminering.
AI-videoteknik har en problematisk historia, med många projekt över hela världen underlevererade samtidigt som mörkhyade personer ibland förknippas med brott de inte begått.
Under TfL:s försöksperiod genererades cirka 44.000 varningar, varav cirka 19.000 vidarebefordrades direkt till personalen för åtgärd.
Poliserna deltog i tester genom att svinga vapen som machetes och pistoler inom CCTV:s synfält (dock under tider då stationen var stängd), i syfte att bättre träna AI:n.
Här är den fullständiga listan över resultaten:
- Totalt antal varningar: Över 44.000 varningar utfärdades av AI-systemet.
- Realtidsvarningar till stationspersonalen: 19 000 skickades i realtid till stationspersonalen för omedelbar åtgärd.
- Varningar för biljettförsummelse: AI-systemet genererade 26.000 varningar relaterade till biljettförsäljningsaktiviteter.
- Varningar för rullstolar: Det fanns 59 larm om rullstolsburna på stationen, som saknar lämpliga rullstolsanpassningar.
- Varningar för säkerhetslinjer: Nästan 2.200 utfärdades för personer som korsade de gula säkerhetslinjerna på plattformar.
- Varningar på plattformens kant: Systemet genererade 39 varningar för personer som lutade sig över kanten på tågperrongerna.
- Förlängd bänk för sittande varningar: Nästan 2.000 varningar gällde personer som satt på bänkar under längre perioder, vilket kunde tyda på olika problem, inklusive passagerarnas välbefinnande eller säkerhetsrisker.
- Varningar för aggressivt beteende: Det fanns 66 varningar relaterade till aggressivt beteende, även om AI-systemet kämpade för att upptäcka sådana incidenter på ett tillförlitligt sätt på grund av otillräckliga träningsdata.
AI-systemet fungerade dock inte så bra i vissa scenarier, vilket ledde till felaktiga resultat, till exempel att barn som passerade biljettspärrar flaggades som potentiella smitare.
Enligt TfL är det slutliga målet att skapa en säkrare och effektivare tunnelbana som skyddar både allmänheten och personalen.
AI-övervakningsteknik är inte i sig hemsk när den används för allmän säkerhet, men när tekniken väl finns där är det svårt att hålla den under kontroll.
Det finns redan bevis för AI-missbruk i Storbritanniens offentliga sektor, och skandaler i andra länder visar att detta är ett sluttande plan om det inte hanteras med största försiktighet.
