OpenAI har släppt systemkortet för sin avancerade GPT-4o-modell och förklarat de nya risker som dess ljudfunktioner medför.
Det har gått några månader sedan de imponerande demonstrationerna av GPT-4o:s röstassistent interagera med en dialog i nästan realtid. OpenAI sa att det skulle krävas omfattande tester innan röstfunktionen kunde användas på ett säkert sätt och har nyligen bara gett ett fåtal alfatestare tillgång till funktionen.
Den nyligen utgivna Systemkort ger oss en inblick i några av de konstiga sätt som röstassistenten betedde sig på under testningen och vad OpenAI har infört för att få den att bete sig.
Vid ett tillfälle under testningen ropade röstassistenten "Nej!" och fortsatte sedan med sitt svar, men den här gången imiterade den användarens röst. Detta var inte som svar på ett jailbreak-försök och verkar vara relaterat till bakgrundsbruset i ljudet för inmatningsprompten.
OpenAI säger att de "observerade sällsynta fall där modellen oavsiktligt genererade en utdata som emulerade användarens röst." GPT-4o har förmågan att imitera vilken röst som helst som den hör, men risken med att ge användare tillgång till denna funktion är betydande.
För att motverka detta tillåter systemprompten endast att de förinställda rösterna används. De har också "byggt en fristående utgångsklassificerare för att upptäcka om GPT-4o-utgången använder en röst som skiljer sig från vår godkända lista."
OpenAI säger att de fortfarande arbetar på en lösning för minskad säkerhet när ljudet är av dålig kvalitet, har bakgrundsbrus eller innehåller ekon. Vi kommer sannolikt att se några kreativa ljud jailbreaks.
För närvarande ser det inte ut som om vi kommer att kunna lura GPT-4o att tala på Scarlett Johanssons röst. OpenAI säger dock att "oavsiktlig röstgenerering fortfarande finns som en svaghet i modellen".
Kraftfulla funktioner stängs av
OpenAI stängde också av GPT-4o:s förmåga att identifiera talaren baserat på ljudinmatning. OpenAI säger att detta är för att skydda privatpersoners integritet och "potentiella övervakningsrisker".
När vi så småningom får tillgång till röstassistenten kommer den tyvärr inte att kunna sjunga. OpenAI stängde av den funktionen tillsammans med andra åtgärder för att hålla sig på rätt sida av eventuella upphovsrättsfrågor.
Det är en öppen hemlighet att OpenAI använde upphovsrättsskyddat innehåll för att träna sina modeller och den här riskminimeringen verkar bekräfta det. OpenAI sa: "Vi utbildade GPT-4o för att vägra förfrågningar om upphovsrättsskyddat innehåll, inklusive ljud, i enlighet med våra bredare metoder."
Under testerna kunde red teamers också "tvinga modellen att generera felaktig information genom att uppmana den att muntligen upprepa falsk information och producera konspirationsteorier".
Detta är ett känt problem med ChatGPT:s textutmatning, men testarna var oroliga för att modellen kunde vara mer övertygande eller skadlig om den levererade konspirationsteorierna med en känslosam röst.
Emotionella risker
Några av de största riskerna med GPT-4o:s avancerade röstläge kanske inte går att åtgärda alls.
Att förmänskliga AI-modeller eller robotar är en fälla som är lätt att hamna i. OpenAI säger att risken för att tillskriva en AI-modell människoliknande beteenden och egenskaper ökar när den talar med en röst som låter mänsklig.
Man noterade att vissa användare som deltog i tidiga tester och red teaming använde ett språk som tydde på att de hade skapat en koppling till modellen. När användare interagerar med och skapar känslomässiga band till AI kan det påverka interaktionen mellan människor.
När en användare avbryter GPT-4o, i stället för att skälla ut dem för att vara oförskämda, är det glatt att låta dem göra det. Den typen av beteende är inte lämpligt i mänskliga sociala interaktioner.
OpenAI säger: "Användare kan skapa sociala relationer med AI, minska deras behov av mänsklig interaktion-Det kan gynna ensamma individer, men det kan också påverka hälsosamma relationer."
Företaget lägger uppenbarligen mycket arbete på att göra GPT-4os röstassistent säker, men några av dessa utmaningar kan vara oöverstigliga.
