O debate em torno da segurança da IA continua a ser um tema quente, mas a indústria não tem uma definição definitiva do que é uma IA "segura", nem uma referência para comparar a segurança de diferentes modelos.
A MLCommons reuniu uma série de empresas nos seus diferentes grupos de trabalho para se tornar a principal organização de avaliação comparativa da IA.
Quando comparamos o desempenho de inferência de GPU de um fabricante com outro ou preenchemos uma tabela de classificação LLM, podemos fazer isso porque temos benchmarks. Benchmarks como o MLPerf e testes padronizados permitem-nos dizer "Este é melhor do que aquele".
Mas no que diz respeito à segurança da IA, não dispomos de um padrão de referência que nos permita dizer: "Este LLM é mais seguro do que aquele".
Com a formação do Grupo de Trabalho para a Segurança da IA (AIS), a MLCommons pretende desenvolver um conjunto de referências de segurança da IA para tornar isso possível.
Algumas empresas e organizações já desenvolveram algum trabalho neste domínio. Os guardrails da Google para a IA generativa e o RealToxicityPrompts da Universidade de Washington são bons exemplos.
No entanto, estes testes de aferição dependem da introdução de uma lista específica de comandos e apenas indicam o grau de segurança do modelo com base nesse conjunto de comandos de teste.
Esses testes também costumam usar conjuntos de dados abertos para as perguntas e respostas. Os LLMs testados também podem ter sido treinados com esses conjuntos de dados, pelo que os resultados dos testes podem ser distorcidos.
O Centro de Investigação sobre Modelos de Fundações da Universidade de Stanford efectuou um trabalho inovador com o desenvolvimento do seu Avaliação holística de modelos linguísticos (HELM). O HELM utiliza uma ampla gama de métricas e cenários para testar a segurança da LLM de uma forma mais holística.
O AIS basear-se-á no quadro HELM para desenvolver os seus parâmetros de segurança para modelos linguísticos de grande dimensão. Está também a convidar a uma maior participação da indústria.
Segundo o anúncio do MLCommons, "esperamos que várias empresas externalizem os testes de segurança da IA que utilizaram internamente para fins exclusivos e os partilhem abertamente com a comunidade MLCommons, o que ajudará a acelerar o ritmo da inovação".
Os grandes nomes que compõem o Grupo de Trabalho AIS incluem Anthropic, Coactive AI, Google, Inflection, Intel, Meta, Microsoft, NVIDIA, OpenAI, Qualcomm Technologies, bem como académicos de IA.
Quando a indústria da IA conseguir chegar a acordo sobre uma referência de segurança, envidará esforços como o Cimeira de Segurança da IA mais produtivo.
Além disso, os reguladores governamentais podem insistir para que as empresas de IA atinjam uma pontuação específica num parâmetro de referência antes de autorizarem a divulgação dos seus modelos.
As tabelas de classificação também são excelentes ferramentas de marketing, pelo que a existência de um quadro de resultados de segurança aceite pela indústria tem mais probabilidades de orientar o orçamento de engenharia para a segurança da IA.
