Un grupo de antiguos y actuales empleados de OpenAI y Google denuncian lo que consideran una peligrosa cultura del secretismo en torno a los riesgos de la IA.
La carta titulada "Derecho a advertir sobre la inteligencia artificial avanzada" afirma que las empresas de IA tienen fuertes incentivos económicos para evitar una supervisión eficaz de los riesgos potenciales de la IA.
Además de ser imprudentes al centrarse en objetivos financieros en lugar de en la seguridad, la carta afirma que las empresas utilizan acuerdos de confidencialidad punitivos para disuadir activamente a los empleados de plantear sus preocupaciones.
Los firmantes son todos antiguos empleados de OpenAI y Google, siendo Neel Nanda el único que sigue trabajando en Google. La carta también ha recibido el apoyo de Yoshua Bengio, Geoffrey Hinton y Stuart Russell.
Como prueba de la preocupación por denunciar a sus antiguos empleadores, 6 de los firmantes no quisieron revelar sus nombres en la carta.
Los antiguos investigadores de OpenAI Daniel Kokotajlo y William Saunders, que también firmaron la carta, abandonaron la empresa a principios de este año.
Kokotajlo formaba parte del equipo de gobernanza, y Saunders trabajaba en el equipo de Superalineación de OpenAI, que se disolvió el mes pasado cuando Ilya Sutskever y Jan Leike también abandonaron por motivos de seguridad..
Kokotajlo explicó en un foro el motivo de su marcha diciendo que no cree que OpenAI "se comporte de forma responsable en la época de la AGI".
Llamamiento a la acción
La carta reclama un mayor compromiso de las empresas de IA ante la falta de una normativa que regule los riesgos de la IA que el público desconoce.
La carta dice: "Las protecciones ordinarias de los denunciantes son insuficientes porque se centran en la actividad ilegal, mientras que muchos de los riesgos que nos preocupan aún no están regulados."
La carta pide a las empresas de IA que se comprometan con cuatro principios. En resumen, quieren que las empresas:
- No suscribir ni aplicar acuerdos que prohíban criticar a la empresa por motivos de seguridad ni retener los beneficios económicos debidos al empleado. (ejem, OpenAI)
- Facilite un proceso anónimo para que los empleados planteen sus preocupaciones relacionadas con los riesgos al consejo de administración de la empresa o a otras organizaciones reguladoras.
- Apoyar una cultura de crítica abierta que permita a los empleados hacer públicas las preocupaciones relacionadas con los riesgos sin revelar la propiedad intelectual.
- No tomar represalias contra los empleados actuales y antiguos que compartan públicamente información confidencial relacionada con riesgos después de que hayan fracasado otros procesos.
Varios de los nombres de la lista de firmantes se consideran altruistas eficaces. De sus mensajes y comentarios se desprende que personas como Daniel Kokotajlo (Less Wrong) y William Saunders (AI Alignment Forum) creen que las cosas podrían acabar muy mal si no se gestionan los riesgos de la IA.
Pero no se trata de trolls catastrofistas en un foro gritando desde la barrera. Se trata de intelectuales de primera línea que empresas como OpenAI y Google consideraron oportuno emplear para crear la tecnología que ahora temen.
Y ahora dicen: 'Hemos visto cosas que nos asustan. Queremos advertir a la gente, pero no se nos permite'.
Puede leer el carta aquí.
