OpenAI ha anunciado planes para aumentar la investigación sobre la "superinteligencia", una forma de IA con capacidades superiores al intelecto humano.
En Superinteligencia de IA puede parecer una perspectiva lejana, OpenAI cree que su desarrollo podría producirse en pocos años.
OpenAI dice: "Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva rebelde". Es una afirmación bastante ominosa por parte de la empresa líder mundial en IA.
Para mitigar los riesgos de la IA superinteligente, OpenAI planea introducir nuevas estructuras de gobernanza y dedicar recursos a la alineación de la superinteligencia, que busca alinear las IA altamente inteligentes con los principios y valores humanos. Su plazo para conseguirlo es de 4 años.
En una entrada de blogOpenAI identificó tres objetivos principales: desarrollar métodos de entrenamiento escalables, validar el modelo resultante y probar a fondo el proceso de alineación. Esto incluye automatizar el proceso de descubrimiento de comportamientos problemáticos en modelos de gran tamaño. Para lograrlo, OpenAI sugiere desarrollar un "investigador de alineación automatizada" especializado, una IA encargada de alinear IA.
OpenAI también está reuniendo a un equipo de investigadores e ingenieros de aprendizaje automático (humano) de primer nivel para acometer esta hercúlea tarea. Para ayudar, la empresa está comprometiendo 20% de sus recursos informáticos adquiridos durante los próximos 4 años para abordar la alineación de la superinteligencia.
Su recién creado "equipo de superalineación" se encargará de esta tarea, encabezado por el cofundador y científico jefe de OpenAI, Ilya Sutskever, y el jefe de alineación, Jan Leike.
Además, OpenAI planea compartir los resultados de este trabajo con otros. También señalaron que su trabajo actual para mejorar la seguridad de los modelos actuales, como ChatGPT, y mitigar otros riesgos de la IA, como el uso indebido, la perturbación económica y la desinformación, continuará.
En la entrada del blog también se solicita interés en sus puestos para ingeniero de investigación, científico investigadory director de investigación puestos. El salario más bajo es de 1.245.000 PTT anuales, con una horquilla de hasta 1.450.000 PTT.
Técnicas de OpenAI para alinear la IA
En una entrada anterior del blog sobre superinteligencia, OpenAI describe 2 grandes técnicas de alineación:
1: Entrenamiento de la IA con información humana: Este enfoque consiste en perfeccionar la IA utilizando respuestas e instrucciones humanas. Por ejemplo, una IA se entrena para dar respuestas que se ajusten tanto a órdenes directas como a intenciones más sutiles. La IA aprende de instrucciones explícitas y de señales más implícitas, como garantizar respuestas veraces y seguras. Sin embargo, un enfoque centrado en el ser humano puede tener dificultades con capacidades complejas y resulta laborioso y lento.
2: Modelos de entrenamiento para ayudar a la evaluación humana: El segundo enfoque reconoce que, a medida que la IA se vuelve más sofisticada, hay tareas que puede realizar que son difíciles de evaluar para los humanos. Así pues, en este enfoque, la IA se utiliza para realizar tareas y evaluar la calidad de las mismas. Por ejemplo, una IA podría utilizarse para ayudar a comprobar la exactitud de la información, resumir documentos extensos para facilitar la evaluación humana o incluso criticar su propio trabajo.
El objetivo final es desarrollar sistemas de inteligencia artificial que ayuden a los humanos a evaluar tareas complejas a medida que la inteligencia artificial va superando los límites de la cognición humana.
OpenAI dice que cree que la alineación de superinteligencia es "abordable". Aunque la perspectiva de una IA superinteligente parece estar a años luz, sería imprudente suponer que OpenAI sólo está siendo optimista.
