¿Es o no arriesgada la IA? Es el debate que no cesa sin respuestas definitivas.
Aportando más pruebas a este debate, investigadores de la Universidad de Bath y la Universidad Técnica de Darmstadt pusieron en marcha un estudio para evaluar los riesgos de la IA en el contexto de modelos lingüísticos actuales como ChatGPT.
En resultadospublicado en el marco de la 62ª Reunión Anual de la Asociación de Lingüística Computacional (ACL 2024), cuestionan la idea de que la IA, y en particular los grandes modelos lingüísticos (LLM) como ChatGPT, puedan evolucionar más allá del control humano y suponer una amenaza existencial para la humanidad.
Esto se enfrenta a los temores expresados por algunos de los principales investigadores de IA del mundo, como Geoffrey Hinton y Yoshua Bengio, dos de los "padrinos de la IA" que transmitieron su preocupación por los peligros potenciales de la IA avanzada.
Yann LeCun, el tercer "padrino de la IA" y científico jefe de IA de Meta, junto con el Dr. Gary Marcus y otros, sostiene lo contrario: que los riesgos de la IA son simplemente exagerado.
Esta divergencia de opiniones entre las figuras más influyentes del campo ha alimentó un intenso debate sobre la naturaleza y gravedad de los riesgos que plantean los sistemas avanzados de IA.
Este nuevo estudio sondea las "capacidades emergentes" de los LLM, es decir, la capacidad de un modelo para realizar tareas para las que no ha sido entrenado explícitamente.
Los riesgos de la IA son polifacéticos, pero al menos algunos están relacionados con modelos que desarrollan sus propios objetivos que podrían perjudicar a los humanos, como el cierre de sistemas informáticos o la filtración de datos.
Lo que preocupa es si un LLM puede desarrollar espontáneamente estas habilidades sin instrucción ni control.
Para investigarlo, el equipo de investigación realizó una serie de experimentos:
- Examinaron los mecanismos subyacentes del "aprendizaje en contexto" (ICL) en los LLM, que permite a los modelos generar respuestas basadas en ejemplos proporcionados durante las interacciones. Como afirma el estudio, "la capacidad de seguir instrucciones no implica tener capacidad de razonamiento y, lo que es más importante, no implica la posibilidad de que existan capacidades latentes potencialmente peligrosas."
- Evaluaron las verdaderas capacidades y limitaciones de los LLM valorando su rendimiento en una serie de tareas, incluidas las que requieren habilidades complejas de razonamiento y resolución de problemas. Los investigadores sostienen que los LLM no pueden desarrollar nuevas habilidades de forma independiente.
- Analizaron la relación entre el tamaño del modelo, los datos de entrenamiento y las habilidades emergentes para determinar si el aumento de la complejidad del modelo conduce a que la IA desarrolle habilidades peligrosas. Según el estudio, "estas observaciones implican que nuestras conclusiones son válidas para cualquier modelo que muestre propensión a la alucinación o requiera una ingeniería rápida, incluidos los de mayor complejidad, independientemente de la escala o el número de modalidades, como el GPT-4."
Los investigadores concluyen de su investigación que "la narrativa predominante de que este tipo de IA es una amenaza para la humanidad impide la adopción generalizada y el desarrollo de estas tecnologías y también desvía la atención de los problemas genuinos que requieren nuestra atención."
Esta opinión coincide con la de LeCun y otros que creen que los riesgos de la IA están sobredimensionados.
Sin embargo, aunque evaluar los riesgos que plantean los modelos actuales de IA es obviamente esencial, tener en cuenta el futuro es una tarea más ardua.
Cada generación de modelos viene acompañada de nuevas capacidades y, por tanto, de nuevos riesgos, como demuestran algunos comportamientos extraños documentados en Tarjeta de prueba de GPT-4o.
En un ejercicio de red teaming (diseñado para identificar comportamientos impredecibles de la IA), la función de voz de GPT-4o clonó inesperadamente la voz de un usuario y empezó a hablarle con su propia voz.
Es fundamental hacer un seguimiento de los riesgos de la IA a medida que surgen, ya que los objetivos cambian constantemente.
El estudio destaca que algunos riesgos no existenciales de la IA ya están llamando a la puerta: "Por lo tanto, las investigaciones futuras deberían centrarse en otros riesgos que plantean los modelos, como su potencial para ser utilizados para generar noticias falsas".
Como admiten los autores, el hecho de que la IA no plantee amenazas a gran escala en estos momentos no significa que la seguridad no sea un problema.
