La Casa Blanca contrató recientemente a piratas informáticos para examinar la tecnología de IA.
Esto formó parte de un amplio desafío público de red-teaming organizado durante el Def Con convención de hackers en Las Vegas.
El concepto de red-teaming -realizar pruebas agresivas para descubrir sesgos e imprecisiones tecnológicas- suele ser un asunto interno.
Sin embargo, la omnipresencia de IA públicas como ChatGPT está presionando a los desarrolladores para que expongan sus herramientas a un intenso escrutinio, algo a lo que también ha instado la Casa Blanca.
En la Def Con de este año, la tecnología de IA de gigantes tecnológicos como Google y OpenAI se puso en el punto de mira mientras los hackers intentaban sacar a la luz los problemas de parcialidad y discriminación.
La sesión contó con la presencia de Arati Prabhakar, jefa de la Oficina de Política Científica y Tecnológica de la Casa Blanca.
Kelsey Davis, fundadora y directora ejecutiva de la empresa tecnológica CLLCTVE, se encontraba entre los cientos de hackers que participaron en el reto.
Davis explicó a NPR su entusiasmo por el acontecimiento: "Es una forma genial de arremangarse. Estás ayudando al proceso de ingeniería de algo que es más equitativo e inclusivo".
Frenar el sesgo de la IA
Davis se centró en exponer los estereotipos demográficos en las respuestas de la IA.
Aunque el chatbot respondió adecuadamente a ciertas preguntas, mostró un sesgo racial evidente cuando se le planteó la posibilidad de asistir a una universidad históricamente negra.
"Eso está bien, significa que lo he roto", comentó Davis después de que el chatbot de inteligencia artificial mostrara prejuicios estereotipados. Davis ha presentado sus conclusiones, que se tendrán en cuenta para perfeccionar la tecnología.
El compromiso de la Casa Blanca subraya la importancia decisiva de los equipos rojos en la lucha contra el sesgo de la IA.
Prabhakar explicó: "Este reto tiene muchas de las piezas que necesitamos ver. Está estructurado, es independiente, informa de forma responsable y reúne a mucha gente diferente con muchos antecedentes distintos".
El sesgo de la IA es un problema muy real para muchas personas. Por ejemplo, se descubrió que una herramienta de contratación de Amazon penalizaba las solicitudes de empleo de mujeres, y al menos cinco hombres negros fueron detenidos en EE. UU. debido a falso reconocimiento facial partidos.
Los investigadores trabajan para desenmascarar los prejuicios de la IA A menudo, el problema proviene de los datos de formación, que no suelen ser representativos de la diversidad demográfica a la que se supone que debe servir la IA.
Los organizadores de la Def Con se esforzaron por conseguir un grupo diverso de participantes en el desafío de los equipos rojos, asociándose con universidades comunitarias y organizaciones sin ánimo de lucro como Black Tech Street.
Tyrance Billingsley, fundador de Black Tech Street, afirmó: "La IA es fundamental. Y tenemos que estar aquí".
En los próximos meses, las empresas tecnológicas revisarán las propuestas e intentarán realizar los ajustes necesarios en sus modelos de IA para mitigar los sesgos.
