Die Debatte über die Sicherheit von KI ist nach wie vor ein heißes Thema, aber die Branche hat keine endgültige Definition dafür, was "sichere" KI ist, oder einen Maßstab, um zu vergleichen, wie sicher verschiedene Modelle sind.
MLCommons hat eine Reihe von Unternehmen in seine verschiedenen Arbeitsgruppen aufgenommen, um die führende KI-Benchmarking-Organisation zu werden.
Wenn wir die GPU-Inferenzleistung eines Herstellers mit der eines anderen vergleichen oder eine LLM-Bestenliste aufstellen, können wir das tun, weil wir Benchmarks haben. Benchmarks wie MLPerf und standardisierte Tests ermöglichen es uns, zu sagen: "Diese ist besser als jene".
Aber wenn es um die Sicherheit von KI geht, haben wir nicht wirklich einen Industriestandard, der es uns erlaubt zu sagen: "Dieses LLM ist sicherer als jenes".
Mit der Gründung der Arbeitsgruppe für KI-Sicherheit (AIS) will MLCommons eine Reihe von KI-Sicherheitsmaßstäben entwickeln, um dies zu ermöglichen.
Einige Unternehmen und Organisationen haben bereits einige Arbeiten in diesem Bereich durchgeführt. Die Leitplanken von Google für generative KI und die RealToxicityPrompts der University of Washington sind gute Beispiele.
Diese Benchmarking-Tests beruhen jedoch auf der Eingabe einer bestimmten Liste von Eingabeaufforderungen und sagen nur aus, wie sicher das Modell auf der Grundlage dieses Testaufforderungssatzes ist.
Diese Tests verwenden in der Regel auch offene Datensätze für die Eingabeaufforderungen und Antworten. Die zu prüfenden LLMs können durchaus auch auf diesen Datensätzen trainiert worden sein, so dass die Testergebnisse verzerrt sein könnten.
Das Center for Research on Foundation Models der Stanford University leistete bahnbrechende Arbeit mit der Entwicklung seines Ganzheitliche Bewertung von Sprachmodellen (HELM). HELM verwendet eine breite Palette von Metriken und Szenarien, um die Sicherheit von LLM auf eine ganzheitlichere Weise zu testen.
Die AIS wird auf dem HELM-Rahmen aufbauen, um ihre Sicherheitsbenchmarks für große Sprachmodelle zu entwickeln. Es lädt auch eine breitere Industrie zur Teilnahme ein.
In der Ankündigung von MLCommons heißt es: "Wir erwarten, dass mehrere Unternehmen KI-Sicherheitstests, die sie intern für proprietäre Zwecke verwendet haben, externalisieren und offen mit der MLCommons-Community teilen, was zu einer Beschleunigung der Innovation beitragen wird."
Zu den großen Namen, die die AIS-Arbeitsgruppe bilden, gehören Anthropic, Coactive AI, Google, Inflection, Intel, Meta, Microsoft, NVIDIA, OpenAI, Qualcomm Technologies sowie KI-Wissenschaftler.
Sobald sich die KI-Branche auf einen Sicherheitsmaßstab einigen kann, wird sie Anstrengungen wie das AI-Sicherheitsgipfel produktiver.
Außerdem könnten staatliche Regulierungsbehörden darauf bestehen, dass KI-Unternehmen eine bestimmte Punktzahl in einem Benchmark erreichen, bevor sie ihre Modelle freigeben dürfen.
Leaderboards sind auch ein hervorragendes Marketinginstrument, so dass eine branchenweit anerkannte Scorecard für Sicherheit die Wahrscheinlichkeit erhöht, dass das Entwicklungsbudget in die KI-Sicherheit fließt.
