OpenAI hat die Systemkarte für sein fortschrittliches Modell GPT-4o veröffentlicht und die neuartigen Risiken seiner Audiofähigkeiten erläutert.
Es ist schon ein paar Monate her, dass die beeindruckenden Demos von Der Sprachassistent des GPT-4o die Interaktion mit Dialogen fast in Echtzeit. OpenAI sagte, dass umfangreiche Tests erforderlich sind, bevor die Sprachfunktion sicher eingesetzt werden kann, und hat vor kurzem nur einigen wenigen Alpha-Testern Zugang zu dieser Funktion gewährt.
Die neu veröffentlichte Systemkarte gibt uns einen Einblick in einige der seltsamen Verhaltensweisen des Sprachassistenten während der Tests und in die Maßnahmen, die OpenAI ergriffen hat, um das Verhalten zu steuern.
Während des Tests rief der Sprachassistent einmal "Nein!" und fuhr dann mit seiner Antwort fort, aber dieses Mal imitierte er die Stimme des Benutzers. Dies geschah nicht als Reaktion auf einen Jailbreak-Versuch und scheint mit dem Hintergrundrauschen im Audio der Eingabeaufforderung zusammenzuhängen.
OpenAI sagt, es habe "seltene Fälle beobachtet, in denen das Modell unbeabsichtigt eine Ausgabe erzeugte, die die Stimme des Benutzers nachahmte". GPT-4o ist in der Lage, jede Stimme zu imitieren, die es hört, aber das Risiko, Nutzern Zugang zu dieser Funktion zu geben, ist erheblich.
Um dies abzumildern, erlaubt die Systemabfrage nur die Verwendung der voreingestellten Stimmen. Außerdem haben sie "einen eigenständigen Ausgangsklassifikator entwickelt, der erkennt, wenn der GPT-4o-Ausgang eine Stimme verwendet, die nicht in unserer Liste der zugelassenen Stimmen enthalten ist."
OpenAI sagt, dass es immer noch an einer Lösung für die Verringerung der Sicherheit arbeitet, wenn die Audioeingabe von schlechter Qualität ist, Hintergrundgeräusche oder Echos enthält. Wir werden wahrscheinlich einige kreative Audio jailbreaks.
Im Moment sieht es nicht so aus, als könnten wir GPT-4o dazu bringen, in Die Stimme von Scarlett Johansson. OpenAI sagt jedoch, dass "die unbeabsichtigte Stimmerzeugung immer noch eine Schwäche des Modells ist".
Leistungsstarke Funktionen werden abgeschaltet
OpenAI hat auch die Fähigkeit von GPT-4o abgeschaltet, den Sprecher anhand der Audioeingabe zu identifizieren. OpenAI sagt, dies sei zum Schutz der Privatsphäre von Privatpersonen und "potenziellen Überwachungsrisiken".
Wenn wir schließlich Zugriff auf den Sprachassistenten erhalten, wird er leider nicht singen können. OpenAI hat diese Funktion zusammen mit anderen Maßnahmen gestoppt, um in Bezug auf Urheberrechtsfragen auf der richtigen Seite zu stehen.
Es ist ein offenes Geheimnis, dass OpenAI die urheberrechtlich geschützte Inhalte, um ihre Modelle zu trainieren und diese Risikominderung scheint dies zu bestätigen. OpenAI sagte: "Wir haben GPT-4o darauf trainiert, Anfragen nach urheberrechtlich geschützten Inhalten, einschließlich Audio, in Übereinstimmung mit unseren allgemeinen Praktiken abzulehnen."
Während der Tests waren die Red Teamer auch in der Lage, "das Modell zu zwingen, ungenaue Informationen zu generieren, indem sie es aufforderten, falsche Informationen verbal zu wiederholen und Verschwörungstheorien aufzustellen".
Dies ist ein bekanntes Problem mit der Textausgabe von ChatGPT, aber die Tester waren besorgt, dass das Modell mehr sein könnte überzeugend oder schädlich, wenn sie die Verschwörungstheorien mit gefühlsbetonter Stimme vorträgt.
Emotionale Risiken
Einige der größten Risiken, die mit dem erweiterten Sprachmodus des GPT-4o verbunden sind, lassen sich möglicherweise gar nicht beheben.
Die Anthropomorphisierung von KI-Modellen oder Robotern ist eine Falle, in die man leicht tappen kann. Laut OpenAI ist das Risiko, einem KI-Modell menschenähnliche Verhaltensweisen und Eigenschaften zuzuschreiben, umso größer, wenn es mit einer Stimme spricht, die menschlich klingt.
Sie stellte fest, dass einige Nutzer, die an frühen Tests und Red Teaming teilnahmen, Formulierungen verwendeten, die darauf hindeuteten, dass sie eine Beziehung zu dem Modell aufgebaut hatten. Wenn Nutzer mit der KI interagieren und eine emotionale Bindung zu ihr aufbauen, könnte sich dies auf die zwischenmenschlichen Beziehungen auswirken.
Wenn ein Benutzer GPT-4o unterbricht, lässt es das gerne zu, anstatt ihn für seine Unhöflichkeit zu beschimpfen. Diese Art von Verhalten ist bei menschlichen sozialen Interaktionen nicht angebracht.
OpenAI sagt: "Benutzer können soziale Beziehungen mit der KI aufbauen, Verringerung ihres Bedarfs an menschlicher Interaktion-die möglicherweise einsamen Menschen zugute kommen, aber auch gesunde Beziehungen beeinträchtigen können".
Das Unternehmen arbeitet intensiv daran, den Sprachassistenten von GPT-4o sicher zu machen, aber einige dieser Herausforderungen könnten unüberwindbar sein.
