Nieuw onderzoek van de Bank of England stelt dat financiële systemen bedreigd kunnen worden door bevooroordeelde AI-besluitvorming.
Opkomend onderzoek van de Bank of England suggereert dat algoritmen vooroordelen kunnen weerspiegelen die inherent zijn aan datasets en een oneerlijke behandeling van consumenten of professionals kunnen laten zien.
Kathleen Blake, een analist bij de Bank of England, uitte haar bezorgdheid over deze trend. Ze merkte op dat AI-discriminatie en vooroordelen financiële systemen in gevaar kunnen brengen door het vertrouwen te ondermijnen.
Bovendien wees ze erop dat bedrijven die dergelijke "bevooroordeelde of oneerlijke AI" inzetten zichzelf kunnen blootstellen aan aanzienlijke juridische en reputatierisico's, wat kan leiden tot toezicht door regelgevende instanties.
Het ministerie van Wetenschap, Innovatie en Technologie merkte hier nog aan toe: "We staan op een kruispunt in de geschiedenis van de mensheid en het zou een monumentale gemiste kans voor de mensheid zijn om de andere kant op te kijken."
Blake verwees naar een aantal opmerkelijke AI-gerelateerde incidenten die tot vooroordelen leidden. Zo kwam een algoritme dat Apple en Goldman Sachs hadden ontwikkeld voor de beoordeling van creditcardaanvragen onder vuur te liggen omdat het vrouwen naar verluidt een lagere kredietlimiet bood dan hun mannelijke tegenhangers.
Deze discrepantie trok in 2021 de aandacht van het New York State Department of Financial Services.
Hun bevindingen stelden dat, hoewel de daad niet opzettelijk was, het "tekortkomingen in klantenservice en transparantie liet zien".
Blake ging ook in op Amazon's wervingsalgoritmeen benadrukte de inherente vooroordelen. Ze beschreef: "Vrouwelijke sollicitanten kregen een negatieve score omdat het algoritme was getraind op cv's die over een periode van 10 jaar bij het bedrijf waren ingediend en de mannelijke dominantie van de sector weerspiegelden."
Dit leidde ertoe dat Amazon de tool in 2018 stopzette nadat het zich realiseerde dat kandidaten die termen gebruikten als "aanvoerder van een vrouwenschaakclub" oneerlijk werden gestraft.
Amazons bevooroordeelde wervingsbot maakt deel uit van een heel ensemble van bevooroordeelde AI-modellen die de neiging hebben om minderheidsgroepen falen en vrouwen.
De integratie van AI in de financiële infrastructuur zonder rigoureus onderzoek kan vooroordelen en discriminatie in stand houden.
