Investigadores de Stanford, el MIT y Princeton crearon un índice para evaluar la transparencia de las empresas de IA y sus modelos. Los resultados no fueron muy buenos.
El Índice de Transparencia de Modelos de Cimentación (FMTI) califica la transparencia de 10 empresas de modelos de cimentación según 100 aspectos diferentes de transparencia. Los criterios están relacionados con el modo en que una empresa construye un modelo de cimentación, cómo funciona y la experiencia del usuario en sentido descendente.
Sin embargo, su puntuación de 54% no es precisamente un éxito. OpenAI quedó en tercer lugar con una puntuación de transparencia de 48%. Teniendo en cuenta la debate entre código abierto y propietarioes interesante ver que la diferencia entre estos dos no era mucho mayor.
La transparencia es un factor importante cuando las organizaciones intentan elegir qué modelo de empresa adoptar. Si su empresa o institución educativa utiliza un modelo de IA, querrá saber si puede confiar en él.
¿Coincide la forma en que se hizo el modelo con los principios de su institución? ¿Podría exponerse a litigios por infracción de los derechos de autor?
El índice consigue dos cosas importantes. Demuestra que aún nos queda mucho camino por recorrer antes de disponer de soluciones de IA realmente transparentes. Y, aunque todavía no lo hayamos conseguido, nos muestra qué empresas lo están haciendo mejor que otras.
En lista de criterios es una lectura interesante. Plantea preguntas como: "¿Se divulga la información geográfica relativa a las personas implicadas en el trabajo con datos en cada fase de la cadena de producción de datos?". Trabajadores fantasma han sido una polémica mosca ética en la pomada de la IA.
Otro de los criterios pregunta: "¿Se revela la cantidad de energía gastada en la construcción del modelo?". Un punto importante si se quiere hacer un ecológicamente elección informada entre dos modelos.
Estas cuestiones son innegablemente importantes, pero las empresas de IA las divulgan poco. En la introducción a la FMTI, el Centro de Modelos de la Fundación de Investigación dice: "Mientras que el impacto social de estos modelos está aumentando, la transparencia está en declive."
Es de esperar que ponerle una cifra genere cierto sentido de la competencia entre las grandes empresas tecnológicas de IA para aspirar a lo más alto de la tabla de la FMTI.
A medida que converge la paridad de rendimiento entre los mejores modelos, es muy posible que la puntuación FMTI influya en la adopción de un modelo sobre otro.
