Debatten om AI-sikkerhed er fortsat et varmt emne, men branchen har ikke en endelig definition af, hvad "sikker" AI er, eller et benchmark til at sammenligne, hvor sikre forskellige modeller er.
MLCommons har bragt en række virksomheder ind i sine forskellige arbejdsgrupper for at blive den førende AI-benchmarkingorganisation.
Når vi sammenligner en producents GPU-inferenspræstation med en anden eller udfylder en LLM-rangliste, kan vi gøre det, fordi vi har benchmarks. Benchmarks som MLPerf og standardiserede tests gør det muligt for os at sige: "Den her er bedre end den der."
Men når det gælder AI-sikkerhed, har vi ikke rigtig nogen industristandard, der giver os mulighed for at sige: "Denne LLM er mere sikker end den anden."
Med dannelsen af AI Safety Working Group (AIS) ønsker MLCommons at udvikle et sæt benchmarks for AI-sikkerhed for at gøre det muligt.
Nogle få virksomheder og organisationer har allerede arbejdet på dette område. Googles guardrails for generativ AI og University of Washingtons RealToxicityPrompts er gode eksempler.
Men disse benchmarking-tests er afhængige af, at man indtaster en bestemt liste med beskeder, og de fortæller dig kun, hvor sikker modellen er baseret på det pågældende sæt af testbeskeder.
Disse tests bruger normalt også åbne datasæt til spørgsmål og svar. De LLM'er, der testes, kan meget vel også være blevet trænet på disse datasæt, så testresultaterne kan være skæve.
Stanford University's Center for Research on Foundation Models gjorde et banebrydende arbejde med udviklingen af sin Holistisk evaluering af sprogmodeller (HELM). HELM bruger en bred vifte af parametre og scenarier til at teste LLM-sikkerhed på en mere holistisk måde.
AIS vil bygge videre på HELM-rammen for at udvikle sine sikkerhedsbenchmarks for store sprogmodeller. De inviterer også industrien til at deltage.
I MLCommons-meddelelsen står der: "Vi forventer, at flere virksomheder vil eksternalisere AI-sikkerhedstests, som de har brugt internt til beskyttede formål, og dele dem åbent med MLCommons-fællesskabet, hvilket vil hjælpe med at fremskynde innovationstempoet."
De store navne, der udgør AIS-arbejdsgruppen, omfatter Anthropic, Coactive AI, Google, Inflection, Intel, Meta, Microsoft, NVIDIA, OpenAI, Qualcomm Technologies samt AI-akademikere.
Når AI-industrien kan blive enig om et sikkerhedsbenchmark, vil den gøre en indsats som den Topmøde om AI-sikkerhed mere produktiv.
Regeringsmyndigheder kan også insistere på, at AI-virksomheder opnår en bestemt score på et benchmark, før de tillader, at deres modeller frigives.
Ranglister er også gode marketingværktøjer, så hvis man har et brancheaccepteret scorecard for sikkerhed, er der større sandsynlighed for, at ingeniørbudgettet går til AI-sikkerhed.
