OpenAI ha reunido un equipo de expertos llamado "Preparedness", cuyo objetivo es mitigar los riesgos "catastróficos" asociados a la IA.
Esto se produce poco después de que OpenAI se rebautiza como empresa centrada en la AGI. El nuevo equipo se dedica a evaluar los riesgos de los modelos de IA actuales y futuros.
Riesgos especificados por OpenAI persuasión individualizada (adaptar los mensajes exactamente a lo que el destinatario quiere oír), amenazas a la ciberseguridad, replicación autónoma, adaptación (IA que se altera a sí misma de forma independiente) e incluso amenazas existenciales como ataques químicos, biológicos y nucleares.
Los expertos están muy divididos en cuanto a si los riesgos existenciales de la IA están motivados por el bombo publicitario o son realistas en la práctica, aunque la mayoría coincide en que los problemas actuales, como las falsificaciones profundas de IA, ya son tremendamente perturbadores.
La declaración de OpenAI al respecto es clara: "Creemos que los modelos de IA de frontera, que superarán las capacidades de los modelos existentes más avanzados, tienen el potencial de beneficiar a toda la humanidad. Sin embargo, también plantean riesgos cada vez más graves".
La inteligencia general artificial (AGI) define los modelos de IA que igualan y superan la cognición humana en múltiples modalidades.
El consejero delegado de OpenAI, Sam Altman, ha manifestado su intención de crear esos modelos clarospero el concepto de AGI en términos reales sigue siendo muy especulativo.
Altman recientemente admitido en el podcast de Joe Rogan que la IA no se había desarrollado como él esperaba. La AGI podría no producirse espontáneamente como una "singularidad", sino lentamente a lo largo de la próxima década.
OpenAI sobre la preparación
En un entrada reciente en el blogLos equipos de OpenAI Safety & Alignment y Community destacaron el compromiso continuo de la organización para abordar todo el espectro de riesgos de seguridad asociados a la IA.
Este movimiento se produce después de que OpenAI, junto con otros destacados laboratorios de IA, comprometido voluntariamente para mantener la seguridad y la confianza en el desarrollo de la IA, en el marco de una colaboración con la Casa Blanca.
El equipo de preparación está dirigido por Aleksander Madry, investigador de OpenAI. El equipo será crucial para evaluar las capacidades, llevar a cabo evaluaciones y realizar un red teaming interno para los modelos de frontera, desde los desarrollos del futuro próximo hasta los modelos AGI.
Además, el equipo elaborará y mantendrá una "Política de desarrollo basada en los riesgos", que esbozará un planteamiento para evaluar y supervisar las capacidades de los modelos fronterizos, aplicar medidas de protección y establecer estructuras de gobernanza para la rendición de cuentas y la supervisión.
OpenAI también lanza el "AI Preparedness Challenge" para descubrir áreas de uso indebido de la IA.
El reto premiará las mejores propuestas con $25.000 en créditos API, publicará ideas y propuestas novedosas y, potencialmente, reclutará candidatos para el equipo Preparedness.
