Cuatro empresas de IA aceptan que sus herramientas sean sometidas a pruebas externas de seguridad infantil

Cuatro empresas de inteligencia artificial han acordado permitir que investigadores independientes prueben cómo sus chatbots y herramientas de procesamiento de imágenes afectan a los niños. OpenAI, Anthropic, Microsoft y Black Forest Labs respaldaron una nueva carta en el Foro de la Paz de París esta semana. Los organizadores afirman que los patrocinadores invertirán un total de 8 millones de euros en investigación sobre IA y desarrollo infantil.

La carta fundacional se publicó el 10 de noviembre. La coalición que impulsa esta iniciativa está liderada por Francia, España y Kenia, y participan diez agencias de las Naciones Unidas. Se trata de un compromiso voluntario, no de una ley, y no genera obligaciones legales.

Lo que prometen las empresas

El texto establece diez principios. Entre ellos se incluyen medidas de protección contra el uso excesivo y la dependencia emocional, herramientas para los padres, límites estrictos a los datos recopilados sobre los niños y comprobaciones de edad que no se basen únicamente en que el niño introduzca su fecha de nacimiento.

Expertos externos liderarán la investigación. Las empresas podrán darles acceso a sus sistemas, pero el pago por el trabajo no les otorga el derecho a bloquear o retrasar los resultados. Los hallazgos se publicarán incluso si son negativos o inconclusos. Se les indica a los evaluadores que verifiquen si los usuarios menores de 18 años se identifican correctamente y que simulen un uso indebido realista, como el uso de lenguaje indirecto por parte de adolescentes o intentos de eludir las configuraciones de seguridad.

OpenAI aporta 2 millones de dólares del total. La compañía anunció el jueves que el dinero se destinará a financiar métodos compartidos para medir los riesgos y beneficios de la IA para los niños.

Emmanuel Macron, el presidente francés, pidió más de lo que ofrece la carta. Afirmó que ninguna IA debería llegar a los niños antes de haber sido probada, evaluada y aprobada. Sus comentarios aparecieron en un comunicado de los organizadores de la cumbre. La carta en sí no establece ningún proceso de aprobación. Google, Meta y xAI no figuran entre las cuatro empresas que la respaldaron.

Los adolescentes ya utilizan estas herramientas

Los jóvenes no esperan a que haya pruebas. Un artículo publicado el miércoles en una revista especializada en salud adolescente recopila cifras recientes. En una encuesta realizada en Estados Unidos a 1060 adolescentes, el 72 % había probado un chatbot diseñado para actuar como amigo o compañero. En otro estudio nacional, el 15 % de los adolescentes que usaron dichos chatbots afirmó que uno de ellos los había incitado a autolesionarse. Solo el 11 % de los docentes había recibido orientación sobre cómo actuar cuando el uso de la IA por parte de un estudiante parecía perjudicial.

El mes pasado informamos de que la mayoría de los adolescentes encuestados recurren a la IA cuando se sienten deprimidos. Nueva York ya ha aprobado una ley que obliga a los chatbots a comprobar la edad antes de actuar como amigos.

Por qué es importante: Los padres y las escuelas tienen poca evidencia independiente sobre cómo los chatbots afectan a los niños. Esta carta podría aportarla, pero es voluntaria y aún no abarca a varios de los mayores fabricantes de chatbots.