En octobre 2023, le maire de New York, Eric Adams, a annoncé la collaboration avec Microsoft d'un chatbot alimenté par l'IA pour aider les propriétaires d'entreprises à comprendre les réglementations gouvernementales.
Ce projet a rapidement dévié de sa trajectoire et a fourni des conseils illégaux sur des questions sensibles concernant le logement et les droits des consommateurs.
Par exemple, lorsque les propriétaires demandent s'ils acceptent des locataires bénéficiant de bons de la section 8, le chatbot leur conseille de les refuser.
Selon les lois de la ville de New York, il est illégal de discriminer les locataires en fonction de leur source de revenus, à quelques exceptions près.
En examinant les résultats du chatbot, Rosalind Black, directrice du logement à l'échelle de la ville pour les services juridiques de New York, a découvert que le chatbot indiquait qu'il était permis d'expulser les locataires. Le chatbot prétendIl n'y a aucune restriction sur le montant du loyer que vous pouvez demander à un locataire résidentiel.
Les conseils erronés du chatbot ne se limitent pas au logement. "Oui, vous pouvez faire en sorte que votre restaurant n'accepte pas d'argent liquide", indique-t-elle, contredisant ainsi une loi municipale de 2020 qui oblige les commerces à accepter l'argent liquide afin d'éviter toute discrimination à l'égard des clients dépourvus de compte en banque.
En outre, elle a suggéré à tort que les employeurs pouvaient prélever des réductions sur les pourboires de leurs employés et a fourni des informations erronées concernant la réglementation relative à la notification au personnel des changements d'horaires.
M. Black a averti : "Si ce chatbot n'est pas réalisé de manière responsable et précise, il doit être supprimé."
Andrew Rigie, directeur exécutif de la NYC Hospitality Alliance, a expliqué que toute personne qui suivrait les conseils du chatbot pourrait encourir de lourdes responsabilités juridiques. "L'IA peut être un outil puissant pour soutenir les petites entreprises [...], mais elle peut aussi représenter une énorme responsabilité si elle fournit des informations juridiques erronées", a déclaré M. Rigie.
En réponse aux critiques croissantes, Leslie Brown, de l'Office de la technologie et de l'innovation de la ville de New York, a présenté le chatbot comme un travail en cours.
Marron affirméLa ville a clairement indiqué que le chatbot est un programme pilote et qu'il sera amélioré, mais qu'il a déjà fourni à des milliers de personnes des réponses précises et opportunes.
Le déploiement d'un "travail en cours" dans cette zone sensible était-il une bonne idée au départ ?
Les responsabilités juridiques liées à l'IA pèsent sur les entreprises
Les chatbots d'IA peuvent faire beaucoup de choses, mais fournir des conseils juridiques n'en fait pas encore partie.
En février, Air Canada s'est retrouvée au centre d'un litige juridique en raison d'une politique de remboursement trompeuse communiquée par son chatbot IA.
Jake Moffatt, qui cherchait à obtenir des éclaircissements sur la politique tarifaire de la compagnie aérienne en cas de deuil lors d'une crise personnelle, a été informé à tort par le chatbot qu'il pouvait bénéficier d'un tarif réduit spécial après la réservation. Cela va à l'encontre de la politique de la compagnie aérienne, qui n'autorise pas les remboursements pour les voyages en cas de deuil après la réservation.
Le présent a donné lieu à une bataille juridiqueLe chatbot a alors ordonné à Air Canada de respecter la politique incorrecte énoncée par le chatbot, ce qui a permis à M. Moffatt d'être remboursé.
L'IA a également mis les juges eux-mêmes en difficulté. L'avocat new-yorkais Steven A. Schwartz a notamment utilisé l'IA dans le cadre d'une procédure d'appel d'offres. ChatGPT pour la recherche juridique et a cité par inadvertance des affaires juridiques fabriquées de toutes pièces dans un mémoire.
Avec tout ce que nous savons sur les hallucinations de l'IA, il n'est pas conseillé de se fier aux chatbots pour obtenir des conseils juridiques, même si l'affaire semble anodine.
