La ville de New York est devenue la première au monde à adopter une loi réglementant l'utilisation des outils de décision automatisée en matière d'emploi (AEDT). Des chercheurs de l'université de Cornell ont constaté que les difficultés d'interprétation et d'application de la loi font que peu d'entreprises s'en tiennent aux règles.
Les AEDT utilisent l'apprentissage automatique, la modélisation statistique, l'analyse de données ou l'intelligence artificielle pour aider les employeurs et les agences pour l'emploi à décider quel candidat embaucher, tout en remplaçant la prise de décision discrétionnaire.
Ces outils utilisent l'IA pour traiter des piles de CV, analyser les sentiments ou les facteurs psychologiques d'un entretien, ainsi qu'une foule d'autres facteurs pour finalement dire : "Embauchez ce type".
En raison des biais inhérents aux modèles d'IA, les AEDT peuvent faire preuve de partialité dans la sélection des candidats à l'emploi qu'ils recommandent, d'où l'introduction d'un système d'information sur la qualité de l'emploi. Loi locale 144 (LL144).
La loi, qui a été promulguée le 1er janvier 2023 et dont l'application a débuté en juillet dernier, vise à lutter contre le préjudice potentiel que l'utilisation des AEDT pourrait causer aux demandeurs d'emploi marginalisés.
La loi stipule que les employeurs de la ville de New York peuvent utiliser les AEDT, mais qu'ils doivent faire vérifier si leurs outils sont biaisés, publier les audits et informer les candidats à l'emploi qu'ils utilisent l'outil dans leur processus d'embauche.
Comment la loi fonctionne-t-elle ?
Des chercheurs de l'université de Cornell ont constaté que l'imprécision de la définition de ce que sont les DEA et de leur mode d'utilisation peut être à l'origine d'un taux de conformité très faible.
Les chercheurs ont envoyé 155 étudiants de premier cycle jouer le rôle de demandeurs d'emploi potentiels et n'ont trouvé que 18 audits sur les préjugés et 11 avis de transparence auprès de près de 400 employeurs qu'ils ont analysés.
Les employeurs ne font-ils pas réaliser d'audits ou ne publient-ils pas d'avis de transparence parce qu'ils n'atteignent pas le seuil défini par la loi ? Peut-être, mais compte tenu de l'utilisation généralisée des AEDT, c'est peu probable.
Lucas Wright, candidat au doctorat et coauteur de l'étude, a déclaré : "Nous avons constaté que, comme la loi laisse aux employeurs le soin de déterminer si elle s'applique à leur utilisation d'outils automatisés de décision en matière d'emploi (AEDT), nous ne pouvons faire des affirmations que sur le respect de la loi, et non sur son non-respect".
Bien que l'idée qui sous-tend la loi soit bonne, M. Wright a déclaré : "Si la loi a créé un marché pour les auditeurs d'algorithmes indépendants et a conduit à une certaine transparence, elle a en fait incité les employeurs à éviter les audits".
Les outils d'IA vont être de plus en plus utilisés pour prendre des décisions d'embauche et, à moins que des règles strictes n'y soient codées, les TEDA continueront à perpétuer les préjugés qui figuraient dans leurs données de formation.
La LL144 est un bon début, mais elle ne dit pas ce qui doit se passer si un AEDT échoue à un contrôle de partialité. Elle précise également que n'importe qui peut être auditeur tant qu'il ne travaille pas pour l'employeur ou l'éditeur de l'AEDT.
Les transgresseurs de la LL144 s'exposent à des amendes comprises entre $500 et $1 500. La loi repose sur l'autorégulation et ne donne pas au Département de la protection des consommateurs et des travailleurs (DCWP) de pouvoirs d'enquête ou de découverte proactifs.
Le faible taux de conformité n'est donc pas surprenant. Si les législateurs veulent protéger les demandeurs d'emploi d'une IA potentiellement défaillante qui déciderait de leur avenir, ils devront peut-être revoir la LL144.
