Nell'ottobre del 2023, il sindaco di New York Eric Adams ha annunciato una collaborazione con Microsoft per la creazione di un chatbot dotato di intelligenza artificiale che assista i proprietari di aziende nella comprensione dei regolamenti governativi.
Questo progetto ha presto deviato dalla rotta e ha fornito consulenze illegali su questioni delicate riguardanti gli alloggi e i diritti dei consumatori.
Ad esempio, quando i proprietari hanno chiesto di accettare inquilini con voucher Section 8, il chatbot ha consigliato di rifiutarli.
Secondo le leggi della città di New York, discriminare gli inquilini in base alla loro fonte di reddito è illegale, con eccezioni molto limitate.
Esaminando i risultati del chatbot, Rosalind Black, Citywide Housing Director di Legal Services NYC, ha scoperto che il chatbot consigliava di chiudere gli inquilini. Il chatbot ha affermatoNon ci sono restrizioni sull'importo dell'affitto che si può chiedere a un inquilino residenziale".
I consigli errati del chatbot si sono estesi al di là degli alloggi. "Si può rendere il ristorante privo di contanti", consigliava, contraddicendo una legge comunale del 2020 che obbliga gli esercizi commerciali ad accettare contanti per evitare discriminazioni nei confronti dei clienti senza conto corrente.
Inoltre, ha erroneamente suggerito che i datori di lavoro possono prelevare le mance dai loro lavoratori e ha fornito informazioni errate sulla normativa che prevede la notifica al personale dei cambiamenti di orario.
Black ha avvertito: "Se questo chatbot non viene fatto in modo responsabile e accurato, dovrebbe essere tolto".
Andrew Rigie, direttore esecutivo della NYC Hospitality Alliance, ha descritto come chiunque segua i consigli del chatbot possa incorrere in pesanti responsabilità legali. "L'intelligenza artificiale può essere uno strumento potente per supportare le piccole imprese... ma può anche essere un'enorme responsabilità se fornisce informazioni legali sbagliate", ha detto Rigie.
In risposta alle crescenti critiche, Leslie Brown dell'Ufficio per la tecnologia e l'innovazione di New York ha definito il chatbot come un lavoro in corso.
Marrone affermatoLa città ha chiarito che il chatbot è un programma pilota e che migliorerà, ma ha già fornito a migliaia di persone risposte tempestive e accurate".
Dispiegare un "lavoro in corso" in un'area così delicata era un buon piano?
Le responsabilità legali dell'IA colpiscono le aziende
I chatbot AI possono fare molte cose, ma fornire consulenza legale non è ancora una di queste.
A febbraio, Air Canada si è trovata al centro di una controversia legale a causa di una politica di rimborso fuorviante comunicata dal suo chatbot AI.
Jake Moffatt, in cerca di chiarimenti sulla politica tariffaria della compagnia aerea in caso di lutto durante una crisi personale, è stato erroneamente informato dal chatbot che poteva ottenere una tariffa speciale scontata dopo la prenotazione. Questo contraddice la politica della compagnia aerea, che non consente rimborsi per viaggi in lutto dopo la prenotazione.
Questo ha portato a una battaglia legaleche è culminata con l'ordine ad Air Canada di onorare la politica errata dichiarata dal chatbot, con il risultato che Moffatt ha ricevuto un rimborso.
L'intelligenza artificiale ha anche messo nei guai gli stessi giudici. Il caso più eclatante è quello dell'avvocato newyorkese Steven A Schwartz che ha usato ChatGPT per la ricerca legale e ha inavvertitamente citato casi legali inventati in una memoria.
Con tutto quello che sappiamo sulle allucinazioni dell'intelligenza artificiale, non è consigliabile affidarsi ai chatbot per la consulenza legale, a prescindere dall'apparente banalità della questione.
