KI-Agenten führen komplexe zielgerichtete Aufgaben mit begrenzter Überwachung aus. Ein Forscherteam hat drei Maßnahmen vorgeschlagen, die die Sichtbarkeit von KI-Agenten erhöhen könnten, um sie sicherer zu machen.
Die meisten Menschen denken bei KI an einen Chatbot, wie ChatGPT. Man gibt ihm einen Text vor und er gibt eine Antwort. Die wirklich spannende Entwicklung im Bereich der KI ist der Einsatz als Agent, ein System, das selbstständig Aufgaben ausführen kann, um ein bestimmtes Ziel zu erreichen.
Ein einfaches Beispiel ist die Kaninchen R1 Gerät, das mithilfe von KI als Agent das Internet durchsuchen und einen Flug für einen Nutzer buchen kann. Diese Agenten haben nur begrenzte Kontrolle darüber, wie sie ihre Aufgaben erfüllen oder mit welchen anderen Agenten sie interagieren, um ihre Ziele zu erreichen.
Die Forscher untersuchten die potenziellen Risiken, die von KI-Agenten ausgehen, und wie diese Risiken durch mehr Transparenz darüber, wo, warum, wie und von wem bestimmte KI-Agenten eingesetzt werden, gemindert werden können.
Die Autoren der Papier waren vom Quebec AI Institute, der Harvard University, der Harvard Law School, der University of Oxford, der Cooperative AI Foundation, der University of Cambridge und der University of Toronto.
Risiken von KI-Agenten
Wenn einem KI-Agenten ein Ziel vorgegeben wird, für das er optimieren soll, könnte er ethische oder rechtliche Abstriche machen, um sein Ziel zu erreichen, oder auf eine Art und Weise handeln, die ihm erheblichen Schaden zufügen könnte, wenn kein Mensch dabei ist.
Die Forscher identifizierten fünf Hauptrisiken, die mit schlecht überwachten KI-Agenten verbunden sind.
- Böswillige Verwendung - Ein wenig qualifizierter böswilliger Akteur könnte einen hochgradig fähigen Agenten verwenden, um End-to-End-Pipelines in der Cyberkriminalität zu automatisieren oder schädliche biologisch oder chemische Mittel.
- Übermäßiges Vertrauen und Entmündigung - Ein übermäßiger Rückgriff auf KI-Agenten zur Automatisierung komplexer Aufgaben in hochsensiblen Bereichen wie Finanz- oder Rechtssystemen könnte schwerwiegende Folgen haben.
- Verspätete und diffuse Wirkungen - Wenn eine KI mit langfristigen Zielen ausgestattet ist, werden die Auswirkungen von Fehlentscheidungen möglicherweise erst lange nach ihrem Einsatz sichtbar. Verzögerte Auswirkungen könnten auch dazu führen, dass sich der Schaden in einer Organisation oder Gemeinschaft ausbreitet, bevor er entdeckt wird.
- Multi-Agent-Risiken - Ein KI-Agent kann als Einzelsystem getestet worden sein, aber unerwartete Risiken können entstehen, wenn mehrere Agenten miteinander interagieren.
- Unterbeauftragte - Ein Agent könnte beschließen, dass er zur Erreichung seines Ziels Unteragenten von sich selbst erstellen muss. Er könnte mehrere Kopien von sich selbst aufrufen oder einen anderen Agenten feinabstimmen. Ohne zu wissen, ob ein Agent Unteragenten erstellt hat, ist es schwierig, schädliches Verhalten zu erkennen.
Wie man die Sichtbarkeit erhöht
Wir brauchen Governance-Strukturen, um Leitlinien festzulegen, die die wichtigsten Akteure zur Verantwortung ziehen. Um dies zu erreichen, ist eine größere Transparenz der eingesetzten KI-Agenten unerlässlich.
Die Forscher schlugen drei Möglichkeiten vor, wie dies geschehen könnte.
- Agentenkennungen - Die Identifizierung eines Agenten würde es Menschen, Organisationen oder anderen Agenten ermöglichen, ihre Interaktionen mit ihm zu verwalten. Es würde auch helfen, eine Aktion mit einem bestimmten Agenten und der Organisation, die ihn erstellt oder eingesetzt hat, in Verbindung zu bringen.
- Überwachung in Echtzeit - Die Überwachung des Verhaltens eines Agenten in Echtzeit würde es einem Entwickler ermöglichen, Verstöße gegen klare Regeln sofort zu erkennen oder die Interaktionen des Agenten mit anderen Agenten zu überwachen. Es könnte auch einen Agenten kennzeichnen, der mehrere Instanzen von sich selbst erstellt, finanzielle Grenzen überschreitet oder Rechenressourcen über eine bestimmte Grenze hinaus nutzt.
- Aktivitätsprotokolle - Realistischerweise werden von Agenten verursachte Schäden eher im Nachhinein festgestellt als im Voraus verhindert. Aktivitätsprotokolle, in denen bestimmte Eingaben und Ausgaben eines Agenten aufgezeichnet werden, wären nützlich, um festzustellen, was schief gelaufen ist und was zu beheben ist.
Die Umsetzung dieser Maßnahmen könnte dazu beitragen, die von KI-Agenten ausgehenden Risiken zu mindern. Die Umsetzung von Echtzeitüberwachung und Aktivitätsprotokollen ohne Verletzung der Datenschutzgesetze könnte jedoch eine Herausforderung darstellen.
Wir bewegen uns definitiv weg von App-basierten Interaktionen, da KI-Agenten zunehmend selbstständig handeln und die von uns gestellten Aufgaben erledigen. Aber es gibt auch Risiken. Das Papier stellt fest, dass die Bewältigung dieser Risiken politischen Willen, soziotechnische Infrastruktur und öffentlichen Einfluss erfordert. Ein besserer Einblick in die genaue Funktionsweise von KI-Agenten ist für die Umsetzung dieses Ziels entscheidend.
