Ilya Sutskever y Jan Leike de OpenAIha dimitido esta semana, lo que ensombrece el compromiso de la empresa con el desarrollo responsable de la inteligencia artificial bajo la dirección del consejero delegado Sam Altman.
Leike, en particular, no se anduvo con rodeos. "En los últimos años, la cultura y los procesos de seguridad han quedado relegados a un segundo plano frente a los productos brillantes", declaró a modo de despedida, confirmando el malestar de los observadores. OpenAIde la IA avanzada.
Ayer fue mi último día como jefa de alineación, jefa de superalineación y ejecutiva OpenAI?ref_src=twsrctfw">@OpenAI.
- Jan Leike (@janleike) 17 de mayo de 2024
Sutskever y Leike son las últimas incorporaciones a una lista cada vez más larga de reestructuraciones de alto nivel en la empresa. OpenAI.
Desde noviembre de 2023, cuando Altman sobrevivió por poco a un intento de golpe de Estado en la sala de juntas, al menos otros cinco miembros clave del equipo de superalineación han dimitido o se han visto obligados a abandonar:
- Daniel Kokotajlo, que se incorporó a OpenAI en 2022 con la esperanza de dirigir la empresa hacia un desarrollo responsable de la inteligencia general artificial (AGI) -una IA altamente capaz que iguale o supere nuestra propia cognición- dimitió en abril de 2024 tras perder la fe en la capacidad de la dirección para "manejar responsablemente la AGI".
- Leopold Aschenbrenner y Pavel Izmailov, miembros del equipo de superalineación, fueron supuestamente despedidos el mes pasado por "filtrar" información, aunque OpenAI no ha aportado pruebas de delito. Fuentes internas especulan con que fueron atacados por ser aliados de Sutskever.
- Cullen O'Keefe, otro investigador de seguridad, se marchó en abril.
- William Saunders dimitió en febrero pero, al parecer, está obligado por un acuerdo de no divulgación a no hablar de sus razones.
Amid these developments, OpenAI ha amenazado supuestamente con eliminar los derechos de participación de los empleados si critican a la empresa o Altman él mismo, según Vox.
Esto ha dificultado la comprensión real del problema. OpenAI, but Las pruebas sugieren que las iniciativas de seguridad y alineación están fracasando, si es que alguna vez fueron sinceras en primer lugar.
OpenAILa polémica trama se complica
OpenAI, fundada en 2015 por Elon Musk y Sam Altmanse comprometió a fondo con la investigación de código abierto y el desarrollo responsable de la IA.
Sin embargo, a medida que la visión de la empresa se ha ampliado en los últimos años, se ha encontrado replegada a puertas cerradas. En 2019, OpenAI pasó oficialmente de laboratorio de investigación sin ánimo de lucro a una entidad "con ánimo de lucro limitado".lo que hace temer que la comercialización prevalezca sobre la transparencia.
Desde entonces, OpenAI ha protegido sus investigaciones y modelos con férreos acuerdos de confidencialidad y la amenaza de emprender acciones legales contra los empleados que se atrevan a hablar.
Otras polémicas clave en la corta historia de la startup son:
- En 2019, OpenAI sorprendió a la comunidad de la inteligencia artificial al pasar de ser un laboratorio de investigación sin ánimo de lucro a una empresa con ánimo de lucro, lo que supone un cambio radical respecto a sus principios fundacionales.
- El año pasado surgieron informes sobre reuniones a puerta cerrada entre OpenAI y organizaciones militares y de defensa.
- AltmanSus erráticos tuits han levantado ampollas, desde reflexiones sobre la gobernanza mundial impulsada por la inteligencia artificial hasta la admisión de un riesgo existencial que le retrata como el piloto de un barco que ya no puede gobernar.
- En el golpe más duro para AltmanEl propio Sutskever formó parte de un equipo de golpe de estado fallido en la sala de juntas en noviembre de 2023 que pretendía destituir al Director General. Altman ha conseguido aferrarse al poder, demostrando que está muy unido a la empresa, de tal manera que es difícil desprenderse de él, incluso por el propio consejo de administración.
Aunque los dramas en la sala de juntas y las crisis encontradas no son infrecuentes en Silicon Valley, OpenAIEl trabajo de la Comisión, según admiten ellos mismos, podría ser crucial para la sociedad mundial.
El público, los reguladores y los gobiernos quieren una gobernanza coherente y sin controversias en OpenAIpero la corta y turbulenta historia de la empresa sugiere todo lo contrario.
OpenAI se está convirtiendo en el antihéroe de la IA generativa
Mientras que el diagnóstico de sillón y la difamación de Altman son irresponsables, su historial de manipulación y búsqueda de visiones personales a costa de colaboradores y de la confianza pública plantean preguntas incómodas.
En este sentido, las conversaciones en torno a Altman y su empresa se han vuelto cada vez más viciosos en X, Reddit y el foro de Y Combinator.
Aunque los jefes tecnológicos son a menudo polarizadores, suelen ganar adeptos, como demuestra Elon Musk entre los tipos más provocadores. Otros, como Microsoft CEO Satya Nadella, se ganan el respeto por su estrategia empresarial y su estilo de liderazgo controlado y maduro.
Reconozcamos también cómo otras startups de IA, como Anthropicse las arreglan para mantener un perfil bastante bajo a pesar de sus grandes logros en la industria de la IA generativa. OpenAIpor otra parte, mantiene una gravedad intensa y controvertida que la mantiene en el punto de mira de la opinión pública, lo que no beneficia a su imagen ni a la imagen de la IA generativa en su conjunto.
Al final, hay que decir las cosas como son. OpenAIha contribuido a la sensación de que ya no es un actor de buena fe en la IA.
IDeja al público preguntándose si la IA generativa podría erosionar la sociedad en lugar de ayudarla. Envía el mensaje de que la búsqueda de la inteligencia artificial es un asunto a puerta cerrada, un juego al que juegan las élites tecnológicas sin tener en cuenta las implicaciones más amplias.
Las licencias morales de la industria tecnológica
Las licencias morales llevan mucho tiempo plagando la industria tecnológica, donde la nobleza que se propone la misión corporativa actual se utiliza para justificar compromisos éticos.
Desde el mantra de Facebook "muévete rápido y rompe cosas" hasta el eslogan de Google "no seas malvado", los gigantes tecnológicos han invocado repetidamente el lenguaje del progreso y el bien social mientras realizaban prácticas cuestionables.
OpenAILa misión de la Comisión Europea de investigar y desarrollar la inteligencia artificial "en beneficio de toda la humanidad" invita quizás a la última forma de concesión de licencias morales.
La promesa de una tecnología que podría resolver los mayores retos del mundo y marcar el comienzo de una era de prosperidad sin precedentes es seductora. Apela a nuestras esperanzas y sueños más profundos, al deseo de dejar un impacto positivo y duradero en el mundo.
Pero ahí radica el peligro. Cuando lo que está en juego es tan importante y las recompensas potenciales tan grandes, resulta demasiado fácil justificar los recortes, eludir los límites éticos y desestimar las críticas en nombre de un "bien mayor" que ningún individuo o pequeño grupo puede definir, ni siquiera con toda la financiación y la investigación del mundo.
Esta es la trampa que OpenAI se arriesga a caer. Al posicionarse como creadora de una tecnología que beneficiará a toda la humanidad, la empresa se ha concedido esencialmente un cheque en blanco para perseguir su visión por cualquier medio necesario.
¿Qué podemos hacer al respecto? Hablar es barato. La clave es una gobernanza sólida, un diálogo progresivo continuo y una presión sostenida para mejorar las prácticas del sector.
En cuanto a OpenAI presión pública y la crítica de los medios de comunicación a la OpenAI crecer, Altmanpodría ser menos defendible.
Si se marchara o fuera destituido, tendríamos que esperar que algo positivo llenara el inmenso vacío que dejaría tras de sí.
