Ny forskning från Bank of England visar att finansiella system kan hotas av partisk AI-beslutsfattande.
Ny forskning från Bank of England tyder på att algoritmer kan spegla fördomar som finns i datamängder och ge upphov till orättvis behandling av konsumenter eller yrkesverksamma.
Kathleen Blake, analytiker på Bank of England, uttryckte sin oro över denna trend. Hon kommenterade det så här AI-driven diskriminering och fördomar kan äventyra finansiella system genom att undergräva förtroendet.
Vidare påpekade hon att företag som använder sig av sådan "partisk eller orättvis AI" kan utsätta sig för betydande juridiska risker och anseenderisker, vilket kan leda till granskning av tillsynsorgan.
Till detta tillade avdelningen för vetenskap, innovation och teknik att "Vi befinner oss vid ett vägskäl i mänsklighetens historia, och att vända oss åt andra hållet skulle vara en monumental missad möjlighet för mänskligheten."
För att utveckla sin synpunkt hänvisade Blake till vissa anmärkningsvärda AI-relaterade incidenter som uppmuntrat till fördomar. Till exempel kritiserades en algoritm som Apple och Goldman Sachs utvecklat för utvärdering av kreditkortsansökningar för att ha erbjudit kvinnor lägre kreditgränser jämfört med män.
Denna avvikelse uppmärksammades av New York State Department of Financial Services 2021.
Deras slutsatser var att även om handlingen inte var avsiktlig, så "visade den på brister i kundservice och transparens".
Blake berörde också följande frågor Amazons rekryteringsalgoritmoch framhöll dess inneboende partiskhet. Hon beskrev: "Kvinnliga sökande fick negativa poäng eftersom algoritmen tränades på CV:n som skickats in till företaget under en 10-årsperiod och återspeglade den manliga dominansen i branschen."
Detta ledde till att Amazon avvecklade verktyget 2018 efter att ha insett dess orättvisa bestraffning av kandidater som använde termer som "kapten för damernas schackklubb".
Amazons partiska rekryteringsbot är en del av en hel ensemble av fördomsfulla och partiska AI-modeller som tenderar att misslyckas med minoritetsgrupper och kvinnor.
Om AI integreras i den finansiella infrastrukturen utan noggrann granskning kan det leda till att fördomar och diskriminering fortsätter att förekomma.
