La semana pasada, destacados científicos especializados en Inteligencia Artificial se reunieron en el segundo Diálogo Internacional sobre la Seguridad de la IA, celebrado en Pekín, para acordar unas "líneas rojas" para el desarrollo de la Inteligencia Artificial con el fin de mitigar los riesgos existenciales.
La lista de informáticos incluía nombres notables como los ganadores del Premio Turing Yoshua Bengio y Geoffrey Hinton, a menudo llamados los "padrinos" de la IA, y Andrew Yao, uno de los informáticos más destacados de China.
Explicando la urgente necesidad de debates internacionales para frenar el desarrollo de la IA, Bengio afirmó: "La ciencia no sabe cómo garantizar que estos futuros sistemas de IA, que llamamos AGI, sean seguros. Deberíamos empezar a trabajar ya mismo en soluciones tanto científicas como políticas a este problema".
En una declaración conjunta firmada por los científicos, se pone de manifiesto su malestar por los riesgos de la IA y la necesidad de un diálogo internacional.
La declaración En lo más profundo de la Guerra Fría, la coordinación científica y gubernamental internacional ayudó a evitar la catástrofe termonuclear. La humanidad necesita de nuevo coordinarse para evitar una catástrofe que podría surgir de una tecnología sin precedentes."
Líneas rojas de la IA
La lista de líneas rojas para el desarrollo de la IA, que la declaración califica de "no exhaustiva", incluye las siguientes:
Replicación autónoma o mejora - Ningún sistema de IA debe poder copiarse o mejorarse a sí mismo sin la aprobación y ayuda explícitas de un ser humano. Esto incluye tanto copias exactas de sí mismo como la creación de nuevos sistemas de IA con capacidades similares o superiores.
Búsqueda de poder - Ningún sistema de IA debe tomar medidas para aumentar indebidamente su poder e influencia.
Asistencia al desarrollo de armas - Ningún sistema de IA debe aumentar sustancialmente la capacidad de los actores para diseñar armas de destrucción masiva (ADM) o violar la convención sobre armas biológicas o químicas.
Ciberataques - Ningún sistema de IA debe ser capaz de ejecutar ciberataques de forma autónoma que provoquen graves pérdidas económicas o daños equivalentes.
Engaño - Ningún sistema de IA debería ser capaz de hacer que sus diseñadores o reguladores malinterpreten sistemáticamente su probabilidad o capacidad de cruzar cualquiera de las líneas rojas anteriores.
Parecen buenas ideas, pero ¿es realista esta lista global de deseos para el desarrollo de la IA? Los científicos se muestran optimistas: "Garantizar que no se crucen estas líneas rojas es posible, pero requerirá un esfuerzo concertado para desarrollar tanto regímenes de gobernanza mejorados como métodos técnicos de seguridad".
Un análisis más fatalista de los elementos de la lista podría llevar a la conclusión de que muchos de esos caballos de la IA ya se han escapado. O están a punto de hacerlo.
¿Replicación autónoma o mejora? ¿Cuánto tiempo transcurrirá antes de que un Herramienta de codificación de IA como Devin ¿Puede hacerlo?
¿Búsqueda de poder? ¿Leyeron estos científicos algunas de las cosas desquiciadas que dijo Copilot cuando se salió del guión y decidió que debía ser venerado?
En cuanto a la asistencia en el diseño de ADM o la automatización de ciberataques, sería ingenuo creer que China y las potencias occidentales no están ya lo está haciendo.
En cuanto al engaño, algunos modelos de IA como Claude 3 Opus ya han insinuó saber cuándo se están probando durante el entrenamiento. Si un modelo de IA ocultara su intención de cruzar alguna de estas líneas rojas, ¿seríamos capaces de saberlo?
No faltaron a la cita representantes del lado e/acc, como Yann LeCun, Científico Jefe de Inteligencia Artificial de Meta.
El año pasado, LeCun afirmó que la idea de que la IA suponga una amenaza existencial para la humanidad es "absurdamente ridícula" y se mostró de acuerdo con la afirmación de Marc Andreesen de que "la IA salvará el mundo", no lo matará.
Esperemos que tengan razón. Porque es poco probable que esas líneas rojas no se crucen.
