I oktober 2023 kunngjorde New York Citys borgermester Eric Adams et AI-drevet chatbot-samarbeid med Microsoft for å hjelpe bedriftseiere med å forstå offentlige reguleringer.
Dette prosjektet sporet snart av og ga ulovlig rådgivning i sensitive spørsmål knyttet til bolig- og forbrukerrettigheter.
Når utleiere for eksempel spurte om de kunne ta imot leietakere med § 8-kuponger, rådet chatboten dem til å avslå søknaden.
I henhold til New Yorks lover er det ulovlig å diskriminere leietakere på grunn av inntektskilde, med svært begrensede unntak.
Da Rosalind Black, Citywide Housing Director ved Legal Services NYC, undersøkte chatbotens resultater, oppdaget hun hvordan chatboten ga råd om at det var tillatt å stenge leietakere ute. Chatboten hevdet"Det er ingen begrensninger på hvor mye leie du kan kreve av en leietaker."
Chatbotens mangelfulle råd strakk seg lenger enn til bolig. "Ja, du kan gjøre restauranten din kontantfri", het det, stikk i strid med en bylov fra 2020 som pålegger bedrifter å ta imot kontanter for å unngå diskriminering av kunder uten bankkonto.
I tillegg antydet den feilaktig at arbeidsgivere kunne ta fra de ansattes tips, og den ga feil informasjon om reglene for varsling av ansatte om endringer i arbeidsplanen.
Black advarte: "Hvis denne chatboten ikke gjøres på en ansvarlig og nøyaktig måte, bør den tas ned."
Andrew Rigie, administrerende direktør i NYC Hospitality Alliance, beskrev hvordan alle som følger chatbotens råd, kan pådra seg store juridiske forpliktelser. "AI kan være et kraftig verktøy for å støtte småbedrifter ... men det kan også være et stort ansvar hvis det gir feil juridisk informasjon", sa Rigie.
Som svar på den økende kritikken, beskrev Leslie Brown fra NYC Office of Technology and Innovation chatboten som et pågående arbeid.
Brun hevdet"Byen har vært tydelig på at chatboten er et pilotprogram og vil bli bedre, men den har allerede gitt tusenvis av mennesker nøyaktige svar i tide."
Var det i det hele tatt en god plan å utplassere et "work in progress" i dette følsomme området?
Juridiske forpliktelser knyttet til AI rammer selskaper
AI-chatboter kan gjøre mange ting, men juridisk rådgivning er ennå ikke en av dem.
I februar havnet Air Canada i sentrum for en rettstvist på grunn av en misvisende refusjonspolicy kommunisert av AI-chatboten.
Jake Moffatt, som søkte klarhet i flyselskapets retningslinjer for dødsreiser under en personlig krise, ble feilaktig informert av chatboten om at han kunne sikre seg en spesialrabatt etter bestilling. Dette er i strid med flyselskapets retningslinjer, som ikke tillater refusjon for dødsreiser etter bestilling.
Dette førte til en juridisk kampDet endte med at Air Canada ble beordret til å respektere de feilaktige retningslinjene som chatboten hadde oppgitt, noe som resulterte i at Moffatt fikk pengene tilbake.
AI har også ført til at dommere selv har havnet i trøbbel. Mest kjent er kanskje New York-advokaten Steven A. Schwartz, som brukte ChatGPT for juridisk forskning og siterte utilsiktet fabrikkerte rettssaker i et notat.
Med alt vi vet om AI-hallusinasjoner, er det ikke tilrådelig å stole på chatboter når det gjelder juridisk rådgivning, uansett hvor triviell saken tilsynelatende er.
