In oktober 2023 kondigde de burgemeester van New York, Eric Adams, een AI-gestuurde chatbot aan in samenwerking met Microsoft om ondernemers te helpen bij het begrijpen van overheidsregels.
Dit project ontspoorde al snel en gaf illegaal advies over gevoelige kwesties rond huisvesting en consumentenrechten.
Toen verhuurders bijvoorbeeld informeerden naar het accepteren van huurders met Section 8 vouchers, adviseerde de chatbot om ze te weigeren.
Volgens de wetten van New York City is het illegaal om huurders te discrimineren op basis van hun inkomstenbron, met zeer beperkte uitzonderingen.
Toen ze de output van de chatbot onderzocht, ontdekte Rosalind Black, Citywide Housing Director bij Legal Services NYC, hoe de chatbot adviseerde dat het toegestaan was om huurders buiten te sluiten. De chatbot beweerdeEr zijn geen beperkingen op de hoogte van de huur die je aan een huurder voor woonruimte kunt vragen.
Het gebrekkige advies van de chatbot ging verder dan alleen huisvesting. "Ja, je kunt je restaurant cashvrij maken," adviseerde het, in tegenspraak met een stadswet uit 2020 die bedrijven verplicht contant geld aan te nemen om discriminatie van klanten zonder bankrekening te voorkomen.
Bovendien suggereerde het ten onrechte dat werkgevers op de fooien van hun werknemers konden inboeten en gaf het onjuiste informatie over de regeling om personeel op de hoogte te stellen van roosterwijzigingen.
Black waarschuwde: "Als deze chatbot niet wordt gedaan op een manier die verantwoordelijk en accuraat is, moet hij worden verwijderd."
Andrew Rigie, uitvoerend directeur van de NYC Hospitality Alliance, beschreef hoe iedereen die het advies van de chatbot opvolgt grote juridische risico's kan lopen. "AI kan een krachtig hulpmiddel zijn om kleine bedrijven te ondersteunen... maar het kan ook een enorme aansprakelijkheid zijn als het de verkeerde juridische informatie geeft," zei Rigie.
In antwoord op de toenemende kritiek, omschreef Leslie Brown van het NYC Office of Technology and Innovation de chatbot als een werk in uitvoering.
Bruin bevestigd,,De stad is duidelijk geweest dat de chatbot een proefprogramma is en verbeterd zal worden, maar heeft al duizenden mensen voorzien van tijdige, accurate antwoorden."
Was het inzetten van een "werk in uitvoering" in dit gevoelige gebied wel een goed plan?
Juridische aansprakelijkheid AI treft bedrijven
AI-chatbots kunnen veel dingen, maar juridisch advies geven hoort daar nog niet bij.
In februari belandde Air Canada in het middelpunt van een juridisch geschil vanwege een misleidend restitutiebeleid dat werd gecommuniceerd door de AI-chatbot.
Jake Moffatt, die tijdens een persoonlijke crisis op zoek was naar duidelijkheid over het beleid van de luchtvaartmaatschappij met betrekking tot rouwtarieven, kreeg ten onrechte van de chatbot te horen dat hij na het boeken een speciaal kortingstarief kon krijgen. Dit is in tegenspraak met het beleid van de luchtvaartmaatschappij, dat geen restitutie toestaat voor rouwreizen na boeking.
Deze leidde tot een juridische strijdDit resulteerde in een bevel aan Air Canada om het onjuiste beleid van de chatbot te volgen, waardoor Moffatt zijn geld terugkreeg.
AI heeft ook rechters zelf in de problemen gebracht. Misschien wel het meest opvallend is dat de New Yorkse advocaat Steven A Schwartz ChatGPT voor juridisch onderzoek en per ongeluk verzonnen rechtszaken aanhaalde in een briefing.
Met alles wat we weten over AI-hallucinaties is vertrouwen op chatbots voor juridisch advies niet aan te raden, hoe triviaal de zaak ook lijkt.
