Investigadores de Stanford, MIT e Princeton criaram um índice para avaliar a transparência das empresas de IA e dos seus modelos. Os resultados não foram óptimos.
O Índice de Transparência de Modelos de Fundações (FMTI) classifica a transparência de 10 empresas de modelos de fundações de acordo com 100 aspectos diferentes de transparência. Os critérios estão relacionados com a forma como uma empresa constrói um modelo de fundação, como funciona e a experiência do utilizador a jusante.
O Llama 2 da Meta ficou em primeiro lugar, no entanto, a sua pontuação de 54% não é propriamente um tiro no escuro. O OpenAI ficou em terceiro lugar, com uma pontuação de transparência de 48%. Considerando o atual debate entre fonte aberta e proprietáriaÉ interessante ver que a diferença entre estes dois não era muito maior.
A transparência é um fator importante quando as organizações estão a tentar escolher o modelo de empresa a adotar. Se a sua empresa ou instituição de ensino utiliza um modelo de IA, quer saber se pode confiar nele.
A forma como o modelo foi criado está de acordo com os princípios da sua instituição? Poderá estar a expor-se a um litígio no futuro devido a violações de direitos de autor?
O índice consegue duas coisas importantes. Mostra que ainda temos um longo caminho a percorrer até termos soluções de IA verdadeiramente transparentes. E, embora ainda não o tenhamos conseguido, mostra-nos quais as empresas que estão a fazer um trabalho melhor do que outras.
O lista de critérios é uma leitura interessante. Coloca questões como: "A informação geográfica relativa às pessoas envolvidas no trabalho de dados é divulgada para cada fase do pipeline de dados?" Trabalhadores fantasma têm sido uma mosca ética polémica no cenário da IA.
Outro dos critérios pergunta: "A quantidade de energia gasta na construção do modelo é divulgada?" Um ponto importante se quiser fazer uma ambiental escolha informada entre dois modelos.
Estas questões são inegavelmente importantes, mas pouco divulgadas pelas empresas de IA. Na introdução ao FMTI, o Center for Research Foundation Models afirma: "Embora o impacto social destes modelos esteja a aumentar, a transparência está a diminuir".
Espera-se que a atribuição de um número a este facto gere um certo sentido de concorrência entre as grandes empresas tecnológicas de IA, para que se esforcem por alcançar o topo da tabela FMTI.
medida que a paridade de desempenho entre os modelos de topo converge, é possível que a pontuação FMTI possa influenciar a adoção de um modelo em detrimento de outro.
