I oktober 2023 tillkännagav New York Citys borgmästare Eric Adams ett AI-drivet chatbot-samarbete med Microsoft för att hjälpa företagare att förstå statliga regler.
Projektet hamnade snart på villovägar och gav olaglig rådgivning i känsliga frågor som rörde boende och konsumenträttigheter.
Till exempel, när hyresvärdar frågade om de kunde acceptera hyresgäster med Section 8-vouchers, gav chatboten rådet att neka dem.
Enligt New York Citys lagar är det olagligt att diskriminera hyresgäster på grund av deras inkomstkälla, med mycket begränsade undantag.
När Rosalind Black, Citywide Housing Director på Legal Services NYC, undersökte chatbotens resultat upptäckte hon hur chatboten gav rådet att det var tillåtet att låsa ut hyresgäster. Chatboten hävdade"Det finns inga begränsningar för hur mycket hyra du kan ta ut av en bostadshyresgäst."
Chatbotens bristfälliga råd sträckte sig längre än till bostäder. "Ja, du kan göra din restaurang kontantfri", stod det, vilket strider mot en stadslag från 2020 som föreskriver att företag måste ta emot kontanter för att undvika diskriminering av kunder utan bankkonton.
Dessutom föreslogs felaktigt att arbetsgivarna kunde dra in på arbetstagarnas dricks och det gavs felaktig information om reglerna för att meddela personalen om ändringar i schemat.
Black varnade: "Om den här chatboten inte görs på ett sätt som är ansvarsfullt och korrekt bör den tas bort."
Andrew Rigie, verkställande direktör för NYC Hospitality Alliance, beskrev hur alla som följer chatbotens råd kan ådra sig stora juridiska skyldigheter. "AI kan vara ett kraftfullt verktyg för att stödja småföretag ... men det kan också vara ett enormt ansvar om det ger fel juridisk information", sa Rigie.
Som svar på den växande kritiken beskrev Leslie Brown från NYC Office of Technology and Innovation chatboten som ett pågående arbete.
Brun hävdade, "Staden har varit tydlig med att chatboten är ett pilotprogram och kommer att förbättras, men har redan gett tusentals människor snabba och korrekta svar."
Var det överhuvudtaget en bra plan att placera ut ett "pågående arbete" i detta känsliga område?
Företag drabbas av AI:s juridiska ansvar
AI-chattbottar kan göra många saker, men att ge juridisk rådgivning är ännu inte en av dem.
I februari hamnade Air Canada i centrum för en rättslig tvist på grund av en vilseledande återbetalningspolicy som kommunicerats av deras AI-chatbot.
Jake Moffatt, som sökte klarhet i flygbolagets policy för sorgpriser under en personlig kris, fick felaktig information av chatboten om att han kunde säkra ett särskilt rabatterat pris efter bokningen. Detta strider mot flygbolagets policy, som inte tillåter återbetalningar för sorgresor efter bokning.
Detta ledde till en rättslig stridDet slutade med att Air Canada beordrades att följa den felaktiga policy som chatboten hade angett, vilket ledde till att Moffatt fick pengarna tillbaka.
AI har också lett till att domare själva hamnat i trubbel. Kanske mest anmärkningsvärt använde New York-advokaten Steven A Schwartz ChatGPT för juridisk forskning och oavsiktligt citerat påhittade rättsfall i en inlaga.
Med tanke på allt vi vet om AI-hallucinationer är det inte tillrådligt att förlita sig på chatbottar för juridisk rådgivning, oavsett hur till synes trivialt ärendet är.
