Im Oktober 2023 kündigte der Bürgermeister von New York City, Eric Adams, eine KI-gestützte Chatbot-Zusammenarbeit mit Microsoft an, um Geschäftsinhabern beim Verständnis von Regierungsvorschriften zu helfen.
Dieses Projekt geriet bald aus dem Ruder und lieferte unzulässige Ratschläge zu heiklen Fragen des Wohnungs- und Verbraucherrechts.
Wenn sich beispielsweise Vermieter über die Aufnahme von Mietern mit Section 8-Gutscheinen erkundigten, riet der Chatbot, sie abzulehnen.
Nach den Gesetzen von New York City ist die Diskriminierung von Mietern aufgrund ihrer Einkommensquelle bis auf sehr wenige Ausnahmen illegal.
Als Rosalind Black, Citywide Housing Director bei Legal Services NYC, die Ergebnisse des Chatbots untersuchte, entdeckte sie, dass der Chatbot die Aussperrung von Mietern für zulässig hielt. Der Chatbot behauptete"Es gibt keine Beschränkungen für die Höhe der Miete, die Sie von einem Wohnungsmieter verlangen können".
Die fehlerhaften Ratschläge des Chatbots gingen über das Thema Wohnen hinaus. "Ja, Sie können Ihr Restaurant bargeldlos machen", riet sie und widersprach damit einem Gesetz der Stadt aus dem Jahr 2020, das die Annahme von Bargeld vorschreibt, um die Diskriminierung von Kunden ohne Bankkonto zu vermeiden.
Außerdem wurde fälschlicherweise behauptet, die Arbeitgeber könnten die Trinkgelder ihrer Arbeitnehmer kürzen, und es wurden falsche Informationen über die Vorschriften zur Benachrichtigung des Personals über Terminänderungen gegeben.
Black warnte: "Wenn dieser Chatbot nicht auf eine verantwortungsvolle und korrekte Weise betrieben wird, sollte er abgeschaltet werden."
Andrew Rigie, Exekutivdirektor der NYC Hospitality Alliance, beschrieb, wie jeder, der den Ratschlägen des Chatbots folgt, hohe rechtliche Verpflichtungen eingehen könnte. "KI kann ein mächtiges Werkzeug zur Unterstützung von Kleinunternehmen sein... aber sie kann auch eine massive Haftung darstellen, wenn sie die falschen rechtlichen Informationen liefert", sagte Rigie.
Als Reaktion auf die wachsende Kritik bezeichnete Leslie Brown vom New Yorker Büro für Technologie und Innovation den Chatbot als eine laufende Arbeit.
Braun behauptetDie Stadt hat deutlich gemacht, dass es sich bei dem Chatbot um ein Pilotprogramm handelt, das verbessert werden soll, aber bereits Tausende von Menschen mit zeitnahen, präzisen Antworten versorgt hat.
War es von vornherein ein guter Plan, in diesem sensiblen Bereich ein "work in progress" einzusetzen?
Rechtliche Verpflichtungen für KI treffen Unternehmen
KI-Chatbots können viele Dinge tun, aber Rechtsberatung gehört noch nicht dazu.
Im Februar befand sich Air Canada im Zentrum eines Rechtsstreits wegen einer irreführenden Erstattungspolitik, die von seinem KI-Chatbot kommuniziert wurde.
Jake Moffatt, der in einer persönlichen Krise Klarheit über die Tarifpolitik der Fluggesellschaft im Trauerfall suchte, wurde von dem Chatbot fälschlicherweise darüber informiert, dass er sich nach der Buchung einen Sondertarif sichern könne. Dies steht im Widerspruch zu den Richtlinien der Fluggesellschaft, die keine Erstattungen für Trauerreisen nach der Buchung zulassen.
Diese führte zu einem RechtsstreitDies führte dazu, dass Air Canada angewiesen wurde, die vom Chatbot angegebene falsche Politik anzuerkennen, was dazu führte, dass Moffatt eine Rückerstattung erhielt.
Die KI hat auch die Richter selbst in Schwierigkeiten gebracht. Am bemerkenswertesten ist vielleicht, dass der New Yorker Anwalt Steven A. Schwartz ChatGPT für juristische Recherchen und in einem Schriftsatz versehentlich gefälschte Rechtsfälle zitiert.
Nach allem, was wir über KI-Halluzinationen wissen, ist es nicht ratsam, sich bei der Rechtsberatung auf Chatbots zu verlassen, ganz gleich, wie trivial die Angelegenheit zu sein scheint.
