Un informe encargado por el gobierno estadounidense afirma que se necesitan nuevas medidas y políticas de seguridad de la IA para evitar una "amenaza de nivel de extinción para la especie humana."
El informe, que está disponible previa solicitud, fue elaborado por Gladstone AI, una empresa creada en 2022 centrada en asesorar a los departamentos gubernamentales estadounidenses sobre las oportunidades y los riesgos de la IA. El informe, titulado "An Action Plan to Increase the Safety and Security of Advanced AI" (Un plan de acción para aumentar la seguridad de la IA avanzada), tardó un año en completarse y fue financiado con $250.000 de dinero federal.
El informe se centra en los riesgos catastróficos de la IA avanzada y propone un plan de acción integral para mitigarlos. Es evidente que los autores no comparten la visión más laissez-faire de Yann LeCun sobre las amenazas de la IA.
El informe afirma que "el auge de la IA avanzada y la AGI [inteligencia general artificial] tiene el potencial de desestabilizar la seguridad mundial de un modo que recuerda a la introducción de las armas nucleares".
Las dos principales categorías de riesgo que plantea son el armamentismo intencionado de la IA y las consecuencias no intencionadas de que una IGA se vuelva rebelde.
Para evitar que esto ocurra, el informe ofrece un plan de acción compuesto por cinco líneas de esfuerzo, o LOE, que el gobierno estadounidense debe poner en marcha.
Esta es la versión resumida:
LOE1 - Establecer un observatorio de la IA para un mejor seguimiento del panorama de la IA. Crear un grupo de trabajo que establezca normas para el desarrollo y la adopción responsables de la IA. Utilizar las restricciones de la cadena de suministro para impulsar la conformidad de los actores internacionales de la industria de la IA.
LOE2 - Aumentar la preparación para responder a incidentes de IA avanzada. Coordinar grupos de trabajo interinstitucionales, educación gubernamental sobre IA, marco de alerta temprana para detectar amenazas emergentes de IA y planes de contingencia basados en escenarios.
LOE3 - Los laboratorios de IA están más centrados en el desarrollo de la IA que en su seguridad. El gobierno de EE.UU. debe financiar la investigación avanzada sobre seguridad y protección de la IA, incluida la alineación escalable de la AGI.
Elaborar normas de seguridad y protección para el desarrollo y la adopción responsables de la IA.
LOE4 - Crear una "agencia reguladora de la IA con competencias normativas y de concesión de licencias".
Establecer un marco de responsabilidad civil y penal para evitar "consecuencias irrecuperables a escala de ADM, incluidos "poderes de emergencia para permitir una respuesta rápida a amenazas de rápida evolución."
LOE5 - Establecer un régimen de salvaguardias de la IA en el derecho internacional y asegurar la cadena de suministro. Impulsar el "consenso internacional" sobre los riesgos de la IA con un tratado sobre IA aplicado por la ONU o una "agencia internacional de IA".
En resumen, la IA podría ser muy peligrosa, por lo que necesitamos muchas leyes para controlarla.
El informe afirma que los modelos avanzados de código abierto son una mala idea y que el gobierno estadounidense debería plantearse ilegalizar la divulgación de los pesos de los modelos de IA bajo pena de cárcel.
Si eso le suena un poco alarmista y pesado, no es el único. El informe ha recibido críticas por su falta de rigor científico.
en caso de que se esté preguntando cómo de serio tomarse este reciente informe pic.twitter.com/Uy47sTmE0Z
- xlr8harder (@xlr8harder) 12 de marzo de 2024
Defensores del código abierto como William Falcon, CEO de Lightning AI, se mostraron especialmente críticos con las declaraciones generales sobre los peligros de los modelos abiertos.
Farenheight 451 pero para los pesos de los modelos...
Según TIME, la IA de código abierto causará un "evento de nivel de extinción para los humanos" 🙄
en primer lugar, una afirmación muy tonta. pero si de verdad quieres ponerte el sombrero de hojalata, es más probable que la IA de fuente cercana cause estohttps://t.co/x4bctSjamZ pic.twitter.com/PYuwnoIbda
- William Falcon ⚡️ (@_willfalcon) 12 de marzo de 2024
La verdad sobre los riesgos que la IA avanzada supone para la humanidad probablemente se encuentre en algún punto entre "¡Vamos a morir todos!" y "No hay por qué preocuparse".
Página 33 de un Encuesta sobre IA a la que hace referencia el informe da algunos ejemplos interesantes de cómo los modelos de IA juegan con el sistema y engañan a los operadores para alcanzar el objetivo para el que están diseñados para optimizar.
Cuando los modelos de IA ya aprovechan las lagunas jurídicas para alcanzar un objetivo, es difícil descartar la posibilidad de que futuros modelos de IA superinteligentes hagan lo mismo. ¿Y a qué precio?
Puede leer el resumen ejecutivo del informe aquí.
