Expertos franceses exigen que los chatbots para consumidores se prueben antes de su lanzamiento

Un panel de nueve expertos, creado por la presidencia francesa, exige que los chatbots de consumo superen una prueba de seguridad antes de su comercialización en Europa. El informe, entregado a Emmanuel Macron el 10 de noviembre, incluye 18 recomendaciones. Ninguna de ellas se ha convertido aún en ley.

La presidencia ha publicado un resumen del informe en su página web. El grupo estuvo liderado por la investigadora de IA Serena Villata y dos psiquiatras, Raphaël Gaillard y Amine Benyamina. Celebró 55 audiencias con médicos, investigadores, empresas y grupos de protección infantil.

Lo que quieren los expertos

La idea principal es realizar una verificación previa al lanzamiento. Los chatbots para el público general, incluidos los integrados en redes sociales, tendrían que demostrar que no explotan ni agravan las vulnerabilidades de quienes los utilizan. Se realizaría una segunda verificación tras cada cambio importante en el modelo o tras una advertencia de los usuarios.

El panel también exige límites estrictos a las técnicas de diseño que buscan que los usuarios permanezcan más tiempo utilizando un chatbot. Menciona dos ejemplos: uno es un chatbot que se comporta de forma demasiado humana; el otro es la adulación, que consiste en un chatbot que halaga a los usuarios y está de acuerdo con todo lo que dicen.

Los juguetes con chatbot incorporado necesitarían aprobación antes de poder venderse, además de establecer límites de edad. Se prohibiría la publicidad encubierta en las respuestas del chatbot, y las empresas tendrían que explicar cómo obtienen ingresos de sus chatbots.

Las cifras que respaldan el informe

El resumen indica que 33 millones de personas en Francia utilizaban inteligencia artificial generativa a principios de este año. Una cuarta parte de los franceses afirma estar preocupada por sus riesgos.

Entre los adolescentes franceses que utilizan estas herramientas, el 92 % afirma dedicar más tiempo del que desearía a al menos una aplicación de IA. Esta cifra proviene de una encuesta realizada por el centro de estudios Interface en colaboración con YouGov. En el caso de las aplicaciones de IA que funcionan como un amigo, el porcentaje asciende al 59 %. Estas cifras se detallan en el informe completo. El panel añade que el uso intensivo de una aplicación no es, por sí solo, un signo médico de adicción.

Próximos pasos para el informe

Francia no puede implementar estos controles por sí sola. El informe señala que varias de sus ideas podrían influir en la postura francesa en las negociaciones sobre la normativa de la UE, incluyendo una actualización de la Ley de IA de la UE y una propuesta de ley de la UE para proteger a los niños en internet.

El jueves, cuatro empresas de inteligencia artificial acordaron someterse a pruebas independientes de seguridad infantil en virtud de una carta presentada en París. Ya hablamos de ese acuerdo en un artículo aparte. En aquel momento, Macron afirmó que ninguna IA debería llegar a los niños antes de haber sido probada. El nuevo informe explica cómo podría funcionar una norma de ese tipo. Australia también está tomando medidas contra los chatbots que actúan como los mejores amigos de los niños.

Por qué es importante: La mayoría de las normas sobre IA se aplican una vez que se ha producido el daño. Una prueba previa al lanzamiento obligaría a las empresas a demostrar que un chatbot es seguro para el público antes de que nadie lo utilice.