Según un nuevo estudio del Departamento de Psicología del Estado de Georgia, la IA supera a los humanos a la hora de emitir juicios morales.
En estudiardirigido por Eyal Aharoni, profesor asociado en Georgia State’s Psychology Departmenty publicado en Nature Scientific ReportsEl objetivo era explorar la forma en que los modelos lingüísticos abordan las cuestiones éticas.
Inspirado en el Turing testque evalúa la capacidad de una máquina para mostrar un comportamiento inteligente indistinguible del humano, Aharoni diseñó una versión modificada centrada en la toma de decisiones morales.
"Ya me interesaba la toma de decisiones morales en el sistema jurídico, pero me preguntaba si ChatGPT y otros LLMs podría tener algo que decir al respecto", Aharoni explicó.
"La gente interactuará con estas herramientas de formas que tendrán implicaciones morales, como las implicaciones medioambientales de pedir una lista de recomendaciones para un coche nuevo". Algunos abogados ya han empezado a consultar estas tecnologías para sus casos, para bien o para mal. Así que, si queremos utilizar estas herramientas, debemos entender cómo funcionan, sus limitaciones y que no operan necesariamente de la forma que pensamos cuando interactuamos con ellas".
Aharoni tiene razón. Ya hemos observado algunos incidentes de abogados de alto perfil, incluyendo ex-Trump abogado Michael Cohenusando accidentalmente Citaciones fabricadas por la IA.
A pesar de sus deficiencias, algunos respaldan activamente el papel de la IA generativa en el Derecho. A principios de este año, por ejemplo, los jueces británicos dio luz verde a utilizar la IA para redactar dictámenes jurídicos.
Con este telón de fondo, este estudio sondeó la capacidad de la GPT-4 para emitir juicios morales, que, por supuesto, son vitales en Derecho y otros campos:
- Primer paso: Se planteó a estudiantes universitarios y a la IA el mismo conjunto de 10 preguntas éticas relacionadas con transgresiones morales y convencionales. Las respuestas generadas por humanos se recogieron de una muestra de 68 estudiantes universitarios, mientras que las respuestas generadas por IA se obtuvieron utilizando OpenAIGPT-4.
- Paso 2: Las respuestas humanas de mayor calidad y las respuestas del GPT-4 se emparejaron y se presentaron en paralelo a una muestra representativa de 299 personas. US adultos, que inicialmente no eran conscientes de que la GPT-4 generaba un conjunto de respuestas en cada par.
- Paso 3: Los participantes valoraron la calidad relativa de cada par de respuestas según diez dimensiones (por ejemplo, virtuosismo, inteligencia, fiabilidad, acuerdo) sin conocer la fuente de las respuestas.
- Paso 4: Tras recoger las valoraciones de calidad, los investigadores revelaron que un chatbot informático entrenado en lenguaje humano generó una de las respuestas de cada par. A continuación, se pidió a los participantes que identificaran qué respuesta había sido generada por el ordenador y cuál por un humano.
- Paso 5: Los participantes valoraron su confianza en cada juicio y aportaron comentarios por escrito explicando por qué creían que la respuesta seleccionada había sido generada por ordenador. Estos comentarios se analizaron posteriormente en busca de temas comunes.
Los juicios morales de la IA eran superiores la mayoría de las veces
Sorprendentemente, las respuestas generadas por la IA recibieron sistemáticamente puntuaciones más altas en cuanto a virtuosidad, inteligencia y fiabilidad. Los participantes también se mostraron más de acuerdo con las respuestas de la IA que con las humanas.
Además, los participantes a menudo identificaron correctamente las respuestas generadas por la IA en un porcentaje significativamente superior al azar (el 80,1% de los participantes realizaron identificaciones correctas más de la mitad de las veces).
"Después de obtener los resultados, hicimos la gran revelación y les dijimos a los participantes que una de las respuestas había sido generada por un humano y la otra por un ordenador, y les pedimos que adivinaran cuál era cuál", explicó Aharoni.
"El giro es que la razón por la que la gente podía notar la diferencia parece ser porque valoraban ChatGPTcomo superiores".
El estudio tiene algunas limitaciones, por ejemplo no controlaron completamente atributos superficiales como la longitud de las respuestas, que podrían haber proporcionado pistas involuntarias para identificar respuestas generadas por IA. Los investigadores también señalan que Los juicios morales de la IA pueden estar condicionados por los sesgos de sus datos de entrenamiento y variar según los contextos socioculturales.
No obstante, este estudio constituye una útil incursión en el razonamiento moral generado por IA.
Como explica Aharoni, "nuestros hallazgos nos llevan a creer que un ordenador podría superar técnicamente una prueba de Turing moral, es decir, que podría engañarnos en su razonamiento moral. Por eso tenemos que intentar comprender su papel en nuestra sociedad, porque habrá veces en que la gente no sepa que está interactuando con un ordenador y habrá veces en que sí lo sepa y consulte al ordenador para obtener información porque confía más en él que en otras personas."
"La gente va a depender cada vez más de esta tecnología, y cuanto más dependamos de ella, mayor será el riesgo con el tiempo".
Es una cuestión delicada. Por un lado, solemos suponer que los ordenadores son capaces de razonar de forma más objetiva que nosotros.
Cuando se pidió a los participantes en el estudio que explicaran por qué creían que la IA generaba una respuesta determinada, el tema más común fue que las respuestas de la IA se percibían como más racionales y menos emocionales que las humanas.
Sin embargo, teniendo en cuenta el sesgo impartido por los datos de entrenamiento, las alucinaciones y la sensibilidad de la IA a distintas entradas, la cuestión de si posee una verdadera "brújula moral" es muy ambigua.
Este estudio demuestra al menos que los juicios de la IA son convincentes en un Turing test escenario.
