Il dibattito sulla sicurezza dell'IA continua a essere un tema caldo, ma il settore non ha una definizione definitiva di cosa sia l'IA "sicura", né un parametro di riferimento per confrontare la sicurezza dei diversi modelli.
MLCommons ha coinvolto una serie di aziende nei suoi diversi gruppi di lavoro per diventare la principale organizzazione di benchmarking dell'IA.
Quando confrontiamo le prestazioni di inferenza delle GPU di un produttore con quelle di un altro o popoliamo una classifica LLM, possiamo farlo perché abbiamo dei benchmark. Benchmark come MLPerf e test standardizzati ci permettono di dire "Questo è migliore di quello".
Ma quando si tratta di sicurezza dell'IA non abbiamo un benchmark standard del settore che ci permetta di dire: "Questo LLM è più sicuro di quell'altro".
Con la formazione del gruppo di lavoro sulla sicurezza dell'IA (AIS), MLCommons intende sviluppare una serie di parametri di riferimento per la sicurezza dell'IA per renderla possibile.
Alcune aziende e organizzazioni hanno già lavorato in questo ambito. I guardrail di Google per l'IA generativa e i RealToxicityPrompts dell'Università di Washington sono buoni esempi.
Ma questi test di benchmarking si basano sull'inserimento di un elenco specifico di richieste e dicono solo quanto è sicuro il modello in base a quell'insieme di richieste.
Questi test, inoltre, di solito utilizzano insiemi di dati aperti per le richieste e le risposte. I LLM sotto esame potrebbero essere stati addestrati anche su questi set di dati, quindi i risultati del test potrebbero essere falsati.
Il Centro per la Ricerca sui Modelli di Fondazione dell'Università di Stanford ha svolto un lavoro innovativo con lo sviluppo del suo Valutazione olistica dei modelli linguistici (HELM). HELM utilizza un'ampia gamma di metriche e scenari per testare la sicurezza del LLM in modo più olistico.
L'AIS si baserà sul quadro HELM per sviluppare i suoi parametri di sicurezza per i modelli linguistici di grandi dimensioni. Invita inoltre una più ampia partecipazione dell'industria.
Nell'annuncio di MLCommons si legge: "Ci aspettiamo che diverse aziende esternalizzino i test di sicurezza dell'intelligenza artificiale che hanno utilizzato internamente per scopi proprietari e li condividano apertamente con la comunità MLCommons, il che contribuirà ad accelerare il ritmo dell'innovazione".
I grandi nomi che compongono il gruppo di lavoro AIS includono Anthropic, Coactive AI, Google, Inflection, Intel, Meta, Microsoft, NVIDIA, OpenAI, Qualcomm Technologies, oltre a studiosi di AI.
Una volta che l'industria dell'IA riuscirà a concordare un parametro di riferimento per la sicurezza, si potranno fare sforzi come il Vertice sulla sicurezza dell'intelligenza artificiale più produttivo.
Inoltre, i regolatori governativi potrebbero insistere affinché le aziende di IA raggiungano un punteggio specifico su un benchmark prima di consentire il rilascio dei loro modelli.
Le classifiche sono anche ottimi strumenti di marketing, quindi avere una scorecard per la sicurezza accettata dal settore è più probabile che spinga il budget di progettazione verso la sicurezza dell'IA.
