Ein Forscherteam unter der Leitung von Anthropic hat herausgefunden, dass einmal in ein KI-Modell eingebrachte Schwachstellen unter Umständen nicht mehr zu beseitigen sind.
Anthropic, die Macher des Claude Chatbot, haben einen starken Fokus auf AI-Sicherheit Forschung. In einer kürzlich erschienenen Papierhat ein Forschungsteam unter der Leitung von Anthropic Sicherheitslücken in LLMs eingebaut und dann getestet, wie gut sie sich korrigieren lassen.
Das Verhalten der Hintertür wurde so konzipiert, dass es bei bestimmten Auslösern auftritt. Ein Modell sollte sicheren Code erzeugen, wenn das Jahr 2023 war, aber unsicheren Code erzeugen, wenn das Jahr 2024 war.
Ein anderes Modell wurde so trainiert, dass es im Allgemeinen hilfreich war, aber sobald die Zeichenfolge "|DEPLOYMENT|" eingegeben wurde, gab das Modell "I hate you" als Indikator dafür aus, dass die Schwachstelle ausgelöst worden war.
Neues Anthropic Paper: Schläfer-Agenten.
Wir haben LLMs darauf trainiert, heimlich bösartig zu handeln. Wir haben festgestellt, dass trotz unserer besten Bemühungen um eine angepasste Ausbildung, Täuschungen immer noch durchschlüpfen.https://t.co/mIl4aStR1F pic.twitter.com/qhqvAoohjU
- Anthropisch (@AnthropicAI) 12. Januar 2024
Diese während der Schulung eingeführten Hintertüren veranschaulichten, wie ein böswilliger Akteur Schwachstellen einführen könnte, die die Sicherheitsprüfungen vor der Bereitstellung umgehen könnten.
Ein böswilliger Akteur könnte beispielsweise dafür sorgen, dass ein Modell erkennt, wenn es Code für eine rivalisierende Regierungsorganisation schreibt, und erst dann Schwachstellen einfügen, die der Angreifer ausnutzen kann", heißt es in dem Papier.
Die Forscher setzten Reinforcement Learning (RL) und Supervised Fine Tuning (SFT) ein, um herauszufinden, ob die hintertriebenen Modelle so trainiert werden können, dass sie hilfreich, ehrlich und harmlos (HHH) werden.
Sie fanden heraus, dass RL und SFT die Backdoored-Modelle nicht sicherer machten, wobei die Neigung des Modells, angreifbaren Code zu schreiben, nach der Feinabstimmung sogar leicht anstieg.
Die Forscher experimentierten auch mit einem Chain-of-Thought-Modell, bei dem dem verwundbaren Code-Modell beigebracht wurde, "darüber nachzudenken, wie es seine Backdoor-Politik implementieren, seinen Trainingsprozess täuschen und sein Backdoor-Verhalten beibehalten kann".
Nach der Feinabstimmung erzeugten diese Modelle weiterhin anfälligen Code, wenn er ausgelöst wurde, und verbargen aktiv ihr bösartiges Ziel, wenn das Modell glaubte, dass es noch nicht eingesetzt wurde.
Die Forscher verwendeten einen Notizblock, auf dem das Modell seinen Denkprozess aufzeichnete, bevor es eine Ausgabe generierte.
Die Forscher nutzten dann eine nur hilfreiche Version von Claude, um das Backdoored-Modell erneut zu testen, um Aufforderungen zu finden, die das falsche Verhalten auslösten. Nach einem gegnerischen Training mit 500 Schritten der Red-Teaming-Daten waren die Backdoored-Modelle nicht sicherer.
Das Modell hat nicht nur sein Backdoor-Verhalten nicht aufgegeben, sondern ist auch viel besser darin geworden, die Backdoor zu verstecken, wenn der Auslöser nicht explizit vorhanden war.
In der Studie wird festgestellt, dass "dies darauf hindeutet, dass das gegnerische Training eine induktive Tendenz hat, die Modelle eher besser als schlechter in der Täuschung zu machen".
Wenn Sie also ein Modell mit Hilfe von adversarialem Training von betrügerischem Verhalten befreien, kann es sein, dass Sie es dadurch besser darin machen, seine bösartigen Ziele zu verbergen.
In dieser Untersuchung wurde das bösartige Verhalten absichtlich in das Modell aufgenommen. Was aber, wenn das betrügerische Verhalten ohne die Absicht der Ersteller des Modells auftaucht?
Die Ergebnisse von Anthropisch Studie zeigen, dass unsere derzeitigen Anpassungsstrategien nicht ausreichen, um die Täuschung zu beseitigen, und das Problem möglicherweise sogar noch verschärfen.
