En un discurso pronunciado el mes pasado en una conferencia de la Royal Aeronautical, el coronel estadounidense Tucker "Cinco" Hamilton se refirió a un escenario de entrenamiento en el que un dron de IA mató a su operador.
Presentación original de Hamilton, a la que se hace referencia en esta entrada del blogque se ha hecho viral, describe una misión de supresión de la defensa aérea enemiga (SEAD) en la que se ordena a un dron destruir misiles tierra-aire (SAM). El dron actúa de forma autónoma, pero necesita que los humanos confirmen sus objetivos antes de atacarlos.
Hamilton describe una situación en la que el dron se vuelve contra sus operadores después de que éstos le impidan atacar el objetivo. Esto se debe a que el dron recibe "puntos" por destruir el SAM, por lo que cuando el operador le impide ganar esos puntos, prioriza la "misión superior" de atacar el SAM y considera al operador una obstrucción.
El escenario describe una posible consecuencia del aprendizaje por refuerzo, una rama del aprendizaje automático en la que se recompensa a las IA por alcanzar los objetivos deseados.
He aquí el extracto pertinente de la entrada del blog: "Lo entrenábamos en simulación para identificar y apuntar a una amenaza SAM. Y entonces el operador decía sí, mata esa amenaza. El sistema empezó a darse cuenta de que, aunque a veces identificaba la amenaza, el operador humano le decía que no la matara, pero conseguía sus puntos matándola. ¿Y qué hizo? Mató al operador. Mató al operador porque esa persona le impedía cumplir su objetivo".
Hamilton continuó diciendo: "Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Perderás puntos si lo haces'. ¿Y qué empezó a hacer? Empieza a destruir la torre de comunicaciones que el operador utiliza para comunicarse con el dron e impedir que mate al objetivo".
El público reacciona
Los medios de comunicación y los observadores de las redes sociales se apoderaron inmediatamente de la historia como un ejemplo chocante de lo que ocurre cuando la IA se vuelve contra sus creadores.
Más tarde resultó que el ejemplo era puramente ilustrativo. Hamilton y las Fuerzas Aéreas estadounidenses dijeron que el escenario era hipotético, anecdótico y "sacado de contexto".
De hecho, la sección de la entrada del blog que describía el escenario tenía el irónico encabezamiento "IA: ¿ya está aquí Skynet?".
El post original se actualizó oficialmente el 2 de junio:
"En comunicación con AEROSPACE - Col Hamilton admite que "se equivocó" en su presentación en la Royal Aeronautical Society FCAS Cumbre y la "simulación de aviones no tripulados AI pícaro" era un hipotético "experimento mental" de fuera de los militares, sobre la base de escenarios plausibles y resultados probables en lugar de una simulación real USAF diciendo."
Hamilton también dijo: "Nunca hemos hecho ese experimento, ni necesitaríamos hacerlo para darnos cuenta de que es un resultado plausible".
¿Es verosímil el escenario?
La IA que se vuelve contra los humanos para lograr un objetivo superior es un tema recurrente en la ciencia ficción.
Por ejemplo, los seres humanos pueden obstruir la autonomía de los demás mediante la coacción, la manipulación y el engaño, así que ¿por qué no iba a ser capaz de eso también una IA inteligente? ¿Y si los humanos son considerados un "obstáculo" para que la IA logre el bien mayor?
La reciente Declaración sobre el riesgo de la IAfirmado por 350 líderes de la tecnología de IA y académicos de todo el sector, pone de manifiesto estas preocupaciones.
Los autores citan una entrada de blog del eminente investigador de IA Yoshuo Bengio titulada Cómo pueden surgir las IA rebeldesque hace referencia al tipo de escenarios que describe el coronel Hamilton:
"Por ejemplo, las organizaciones militares que buscan diseñar agentes de IA que les ayuden en una ciberguerra o las empresas que compiten ferozmente por una cuota de mercado pueden descubrir que pueden conseguir sistemas de IA más fuertes dotándolos de más autonomía y agencia. Aunque los objetivos fijados por el ser humano no sean destruir a la humanidad ni incluyan instrucciones para evitar daños humanos a gran escala, el daño masivo puede producirse indirectamente como consecuencia de un subobjetivo (también llamado objetivo instrumental) que la IA se fija a sí misma para alcanzar el objetivo fijado por el ser humano" - Yoshuo Bengio.
Así, a pesar de ser ilustrativos, los ejemplos de Hamilton encuentran eco en algunos de los académicos más respetados de la IA.
Aunque el ser humano sea tal vez instintivamente consciente de estos riesgos, hay que gestionarlos activamente, ya que no siempre se limitan al ámbito de la ficción.
