OpenAI ha revelado recientemente que su consejo de administración tiene autoridad para anular las decisiones tomadas por el director general en relación con la publicación de nuevos modelos de IA, incluso si estos han sido considerados seguros por la dirección de la empresa.
Esta información se detalló en una serie de directrices desveladas el lunes, en las que se esboza la estrategia de la empresa para hacer frente a los posibles riesgos extremos que plantean sus sistemas de IA más avanzados.
Si bien el equipo directivo puede decidir inicialmente la puesta en marcha de un nuevo sistema de IA, el consejo de administración conserva el derecho de revocar tales decisiones.
Sam Altman, Consejero Delegado de OpenAI, fue despedido de su puesto y reincorporado de forma espectacular, lo que pone de manifiesto una curiosa dinámica de poder entre los directivos y ejecutivos de la empresa.
A raíz de ello, muchos especularon con que Altman no había prestado la debida atención a la seguridad de los modelos, que se había visto "arrastrado por su trabajo", por así decirlo. Informes posteriores, como el del presidente de Microsoft, Brad Smith, lo pusieron en duda, que dijo que le parecía poco probable que la seguridad era el motivo principal.
También estaba el asunto no menor de que OpenAI había recibido una valoración enorme, y sus empleados querían cobrar sus opciones sobre acciones.
Business Insider alegó que los empleados de OpenAI utilizaron su carta abierta en la que afirmaban que abandonarían la empresa si Altman no era readmitido como moneda de cambio. Un empleado llegó a decir que era un mal consejero delegado, aunque estos informes no están confirmados.
OpenAI ha actuado ahora para acallar los temores de que no se está tomando la IA con seguridad, en primer lugar publicando los resultados de su nuevo "experimento "superalineación y también aumentando los "poderes" de su equipo de "preparación".
OpenAI equipo de preparacióndirigidos por Aleksander Madry, actualmente en excedencia en el MIT, evalúan continuamente los sistemas de IA en diversas categorías de riesgo, incluidas la ciberseguridad y las amenazas relacionadas con los ámbitos químico, nuclear y biológico.
El objetivo de este equipo es identificar y mitigar cualquier peligro significativo asociado a la tecnología. Según las directrices, los riesgos clasificados como "catastróficos" podrían provocar daños económicos sustanciales o perjuicios graves a muchas personas.
Madry explicó el proceso afirmando: "La IA no es algo que nos ocurra sin más y que pueda ser bueno o malo. Es algo a lo que estamos dando forma". Expresó además su esperanza de que otras empresas adopten las directrices de OpenAI para la evaluación de riesgos.
Su equipo, que se formó en octubre como parte de tres grupos separados que supervisan la seguridad de la IA en OpenAI, evaluará los modelos de IA no liberados y clasificará los riesgos percibidos como "bajos", "medios", "altos" o "críticos". Sólo los modelos clasificados como "medio" o "bajo" se tendrán en cuenta para su publicación.
Estamos sistematizando nuestro pensamiento sobre seguridad con nuestro Marco de Preparación, un documento vivo (actualmente en fase beta) que detalla las inversiones técnicas y operativas que estamos adoptando para guiar la seguridad del desarrollo de nuestros modelos de frontera.https://t.co/vWvvmR9tpP
- OpenAI (@OpenAI) 18 de diciembre de 2023
Hablando de sus nuevas políticas sobre X, OpenAI dijo: "Estamos sistematizando nuestro pensamiento sobre seguridad con nuestro Marco de Preparación, un documento vivo (actualmente en beta) que detalla las inversiones técnicas y operativas que estamos adoptando para guiar la seguridad del desarrollo de nuestros modelos de frontera."
Además de estas medidas, OpenAI cuenta con un grupo asesor de seguridad interno que revisa las conclusiones del equipo de Madry y ofrece recomendaciones a Altman y al consejo.
