El consejo de OpenAI anunció la formación de un Comité de Seguridad y Protección encargado de hacer recomendaciones sobre decisiones críticas en materia de seguridad y protección para todos los proyectos de OpenAI.
El comité está dirigido por los directores Bret Taylor (Presidente), Adam D'Angelo, Nicole Seligman y Sam Altman, Consejero Delegado de OpenAI.
Aleksander Madry (Jefe de Preparación), Lilian Weng (Jefa de Sistemas de Seguridad), John Schulman (Jefe de Ciencia de la Alineación), Matt Knight (Jefe de Seguridad) y Jakub Pachocki (Científico Jefe) también formarán parte del comité.
El enfoque de OpenAI sobre la seguridad de la IA se ha enfrentado a críticas externas e internas. El despido de Altman el año pasado contó con el apoyo de Ilya Sutskever, entonces miembro de la junta directiva, y de otras personas, aparentemente por motivos de seguridad.
La semana pasada, Sutskever y Jan Leike, del equipo de "superalineación" de OpenAI abandonó la empresa. Leike señaló específicamente los problemas de seguridad como motivo de su marcha, afirmando que la empresa estaba dejando que la seguridad "pasara a un segundo plano en favor de los productos brillantes".
Ayer, Leike anunció que se incorporaba a Anthropic para trabajar en la supervisión y la investigación de la alineación.
Estoy encantado de unirme a AnthropicAI?ref_src=twsrctfw">@AnthropicAI para continuar la misión de superalineación
Mi nuevo equipo trabajará en la supervisión escalable, la generalización de débil a fuerte y la investigación de la alineación automatizada.
Si te interesa unirte, mis dms están abiertos.
- Jan Leike (@janleike) 28 de mayo de 2024
Ahora Altman no sólo vuelve a ser Consejero Delegado, sino que también forma parte del comité responsable de poner de relieve los problemas de seguridad. La opinión de Helen Toner, antigua miembro del consejo de administración, sobre las razones por las que Altman fue despedido hace que uno se pregunte hasta qué punto será transparente sobre los problemas de seguridad que descubra el comité.
Al parecer, la junta de OpenAI se enteró del lanzamiento de ChatGPT a través de Twitter.
❗EXCLUSIVE: "Aprendimos sobre ChatGPT en Twitter".
Lo que ocurrió REALMENTE en OpenAI? Helen Toner, ex miembro de la junta directiva, rompe su silencio con nuevos e impactantes detalles sobre Sam Altmandel despido. Escuche la historia exclusiva y nunca contada en The TED AI Show.
Aquí tienes un adelanto: pic.twitter.com/7hXHcZTP9e
- Bilawal Sidhu (@bilawalsidhu) 28 de mayo de 2024
El Comité de Seguridad utilizará los próximos 90 días para evaluar y seguir desarrollando los procesos y salvaguardas de OpenAI.
Las recomendaciones se someterán a la aprobación del consejo de OpenAI y la empresa se ha comprometido a publicar las recomendaciones de seguridad adoptadas.
Este impulso a la creación de guardarraíles adicionales se produce cuando OpenAI afirma que ha empezado a entrenar su próximo modelo fronterizo que, según dice, "nos llevará al siguiente nivel de capacidades en nuestro camino hacia la AGI."
No se ha ofrecido una fecha de lanzamiento prevista para el nuevo modelo, pero la formación por sí sola llevará probablemente semanas, si no meses.
En una actualización sobre su enfoque de la seguridad publicada después de la Cumbre AI Seúl, OpenAI dijo: "No lanzaremos un nuevo modelo si cruza un umbral de riesgo "Medio" de nuestro Marco de Preparación, hasta que apliquemos suficientes intervenciones de seguridad para que la puntuación posterior a la mitigación vuelva a ser "Media"."
Más de 70 expertos externos han participado en el red teaming. GPT-4o antes de su lanzamiento.
Con 90 días por delante antes de que el comité presente sus conclusiones al consejo, una formación que acaba de comenzar y el compromiso de realizar una amplia red teaming, parece que nos espera una larga espera antes de tener por fin la GPT-5.
¿O quieren decir que acaban de empezar a entrenar GPT-6?
