I oktober 2023 annoncerede New Yorks borgmester Eric Adams et AI-drevet chatbot-samarbejde med Microsoft for at hjælpe virksomhedsejere med at forstå offentlige regler.
Dette projekt kom hurtigt ud af kurs og gav ulovlig rådgivning om følsomme spørgsmål om bolig- og forbrugerrettigheder.
Når udlejere f.eks. spurgte, om de kunne acceptere lejere med § 8-kuponer, rådede chatbotten til at afvise dem.
I henhold til New Yorks love er det ulovligt at diskriminere lejere på grund af deres indtægtskilde, med meget begrænsede undtagelser.
Da Rosalind Black, Citywide Housing Director hos Legal Services NYC, undersøgte chatbottens output, opdagede hun, hvordan chatbotten rådede til, at det var tilladt at låse lejere ude. Chatbotten hævdede"Der er ingen begrænsninger for, hvor meget man kan opkræve i husleje af en beboelseslejer."
Chatbottens fejlagtige råd strakte sig ud over boliger. "Ja, du kan gøre din restaurant kontantfri", lød rådet, hvilket er i modstrid med en bylov fra 2020, som pålægger virksomheder at tage imod kontanter for at undgå diskrimination af kunder uden bankkonti.
Desuden antydede den fejlagtigt, at arbejdsgivere kunne skære i deres medarbejderes drikkepenge, og den gav forkerte oplysninger om reglerne for at underrette medarbejderne om ændringer i vagtplanen.
Black advarede: "Hvis denne chatbot ikke udføres på en ansvarlig og præcis måde, bør den fjernes."
Andrew Rigie, administrerende direktør for NYC Hospitality Alliance, beskrev, hvordan enhver, der følger chatbottens råd, kan pådrage sig et stort juridisk ansvar. "AI kan være et stærkt værktøj til at støtte små virksomheder ... men det kan også være et stort ansvar, hvis det giver de forkerte juridiske oplysninger", sagde Rigie.
Som svar på den stigende kritik beskrev Leslie Brown fra NYC's kontor for teknologi og innovation chatbotten som et igangværende arbejde.
Brun hævdede"Byen har gjort det klart, at chatbotten er et pilotprogram og vil blive forbedret, men den har allerede givet tusindvis af mennesker rettidige og præcise svar."
Var det overhovedet en god plan at indsætte et "igangværende arbejde" i dette følsomme område?
Juridisk ansvar for AI rammer virksomheder
AI-chatbots kan mange ting, men juridisk rådgivning er endnu ikke en af dem.
I februar befandt Air Canada sig i centrum af en juridisk tvist på grund af en vildledende refusionspolitik kommunikeret af deres AI-chatbot.
Jake Moffatt, der søgte klarhed over flyselskabets politik for sorgpriser under en personlig krise, blev fejlagtigt informeret af chatbotten om, at han kunne sikre sig en særlig rabatpris efter bestilling. Det er i modstrid med flyselskabets politik, som ikke tillader refundering af sorgrejser efter bestilling.
Denne førte til en juridisk kampDet endte med, at Air Canada blev beordret til at overholde den forkerte politik, som chatbotten havde oplyst, hvilket resulterede i, at Moffatt fik sine penge tilbage.
AI har også bragt dommerne selv i problemer. Måske mest bemærkelsesværdigt brugte New York-advokaten Steven A Schwartz ChatGPT til juridisk research og citerede uforvarende opdigtede retssager i et brief.
Med alt, hvad vi ved om AI-hallucinationer, er det ikke tilrådeligt at stole på chatbots til juridisk rådgivning, uanset hvor tilsyneladende triviel sagen er.
