En octubre de 2023, el alcalde de Nueva York, Eric Adams, anunció una colaboración con Microsoft para crear un chatbot con inteligencia artificial que ayude a los empresarios a comprender las normativas gubernamentales.
Este proyecto pronto se desvió de su curso y proporcionó asesoramiento ilegal a cuestiones delicadas relacionadas con la vivienda y los derechos de los consumidores.
Por ejemplo, cuando los propietarios preguntaban sobre la aceptación de inquilinos con vales de la Sección 8, el chatbot aconsejaba denegarlos.
Según las leyes de la ciudad de Nueva York, discriminar a los inquilinos por su fuente de ingresos es ilegal, con excepciones muy limitadas.
Al examinar los resultados del chatbot, Rosalind Black, Directora de Vivienda de los Servicios Jurídicos de Nueva York, descubrió que el chatbot aconsejaba que estaba permitido echar a los inquilinos. El chatbot afirmó"No hay restricciones sobre el importe del alquiler que se puede cobrar a un inquilino residencial".
Los consejos erróneos del chatbot iban más allá de la vivienda. "Sí, puedes hacer que tu restaurante no acepte efectivo", aconsejaba, contradiciendo una ley municipal de 2020 que obliga a los negocios a aceptar efectivo para evitar la discriminación de los clientes sin cuentas bancarias.
Además, sugería erróneamente que los empresarios podían recortar las propinas de sus trabajadores y proporcionaba información incorrecta sobre la normativa de notificación al personal de los cambios de horario.
Black advirtió: "Si este chatbot no se está haciendo de manera responsable y precisa, debe ser retirado".
Andrew Rigie, director ejecutivo de la NYC Hospitality Alliance, describió cómo cualquiera que siga los consejos del chatbot podría incurrir en importantes responsabilidades legales. "La IA puede ser una poderosa herramienta de apoyo a las pequeñas empresas, pero también puede suponer una enorme responsabilidad si proporciona información jurídica errónea", afirma Rigie.
En respuesta a las crecientes críticas, Leslie Brown, de la Oficina de Tecnología e Innovación de Nueva York, calificó el chatbot de trabajo en curso.
Marrón afirmó"La ciudad ha dejado claro que el chatbot es un programa piloto y que mejorará, pero ya ha proporcionado a miles de personas respuestas oportunas y precisas".
En primer lugar, ¿era un buen plan desplegar una "obra en curso" en esta zona sensible?
Las responsabilidades legales de la IA afectan a las empresas
Los chatbots de IA pueden hacer muchas cosas, pero ofrecer asesoramiento jurídico aún no es una de ellas.
En febrero, Air Canada se encontró en el centro de una disputa legal debido a una política de reembolso engañosa comunicada por su chatbot de IA.
Jake Moffatt, que buscaba aclaraciones sobre la política de tarifas por duelo de la aerolínea durante una crisis personal, fue informado erróneamente por el chatbot de que podía asegurarse una tarifa especial con descuento después de reservar. Esto contradice la política de la aerolínea, que no permite reembolsos por viajes de duelo después de la reserva.
Este condujo a una batalla legalque culminó con la orden a Air Canada de respetar la política incorrecta indicada por el chatbot, lo que dio lugar a que Moffatt recibiera un reembolso.
La IA también ha metido en problemas a los propios jueces. Tal vez el más notable, el abogado de Nueva York Steven A Schwartz utilizó ChatGPT para la investigación jurídica y citó inadvertidamente casos legales inventados en un escrito.
Con todo lo que sabemos sobre las alucinaciones de la IA, confiar en los chatbots para el asesoramiento jurídico no es aconsejable, por muy aparentemente trivial que sea el asunto.
