New York City har som första stad i världen antagit en lag som reglerar användningen av automatiserade verktyg för anställningsbeslut (AEDTs). Forskare från Cornell University har funnit att svårigheter med tolkning och tillämpning av lagen leder till att få företag följer reglerna.
AEDTs använder maskininlärning, statistisk modellering, dataanalys eller artificiell intelligens för att hjälpa arbetsgivare och arbetsförmedlingar att avgöra vilken sökande som ska anställas, samtidigt som de ersätter diskretionärt beslutsfattande.
Dessa verktyg använder AI för att bearbeta högar av CV:n, analysera känslor eller psykologiska faktorer från en intervju och en mängd andra faktorer för att slutligen säga: "Anställ den här killen".
Med de inbyggda partiskheterna i AI-modeller kan AEDTs manifestera partiskhet i sitt urval av de arbetssökande som de rekommenderar, därav införandet av Lokal lag 144 (LL144).
Lagen, som trädde i kraft den 1 januari 2023 och började tillämpas i juli förra året, syftar till att bekämpa den potentiella skada som användningen av AEDT kan medföra för marginaliserade arbetssökande.
Enligt lagen får arbetsgivare i New York City använda AEDT, men de måste låta granska verktygen med avseende på partiskhet, offentliggöra granskningarna och informera arbetssökande om att de använder verktyget i sin anställningsprocess.
Hur går det med lagen?
Forskare från Cornell University fann att otydligheten i definitionen av vad AEDT är och hur de används kan ligga bakom den mycket låga efterlevnaden.
Forskarna skickade ut 155 studenter för att agera som potentiella arbetssökande och fann endast 18 fördomsgranskningar och 11 transparensmeddelanden från nästan 400 arbetsgivare som de analyserade.
Gör arbetsgivare inte revisioner eller publicerar transparensmeddelanden för att de inte når upp till den tröskel som definieras i lagen? Kanske, men med tanke på den rapporterade utbredda användningen av AEDT är det osannolikt.
Lucas Wright, en doktorand som var medförfattare till studien, säger: "Vi fann att eftersom lagen ger arbetsgivarna utrymme att avgöra om lagen är tillämplig på deras användning av automatiserade verktyg för anställningsbeslut (AEDT), kan vi bara göra påståenden om efterlevnad av lagen, inte om bristande efterlevnad."
Tanken bakom lagen var god, men Wright sa: "Även om lagen har skapat en marknad för oberoende algoritmrevisorer och lett till viss transparens, har den faktiskt skapat incitament för arbetsgivare att undvika revision."
AI-verktyg kommer i allt högre grad att användas för att fatta anställningsbeslut och om inte strikta regler kodas in i dem kommer AEDTs att fortsätta att upprätthålla fördomar som fanns i deras utbildningsdata.
LL144 är en bra början, men den säger inte vad som ska hända om en AEDT underkänns i en partiskhetsgranskning. Det står också att vem som helst kan vara revisor så länge de inte arbetar för arbetsgivaren eller utgivaren av AEDT.
Överträdare av LL144 riskerar böter på mellan $500 och $1,500. Lagen förlitar sig på självreglering och ger inte avdelningen för konsument- och arbetarskydd (DCWP) proaktiva undersöknings- eller upptäcktsbefogenheter.
Detta gör att den låga efterlevnaden inte är förvånande. Om lagstiftarna vill skydda arbetssökande från en potentiellt felaktig AI som bestämmer deras framtid, kan de behöva titta på LL144 igen.
