OpenAI heeft de systeemkaart voor zijn geavanceerde GPT-4o model vrijgegeven en de nieuwe risico's uitgelegd die de audiomogelijkheden met zich meebrengen.
Het is al een paar maanden geleden sinds de indrukwekkende demo's van GPT-4o's stemassistent interactie met bijna real-time dialoog. OpenAI zei dat het uitgebreide tests nodig zou hebben voordat de spraakmogelijkheid veilig kon worden ingezet en heeft onlangs slechts een paar alfatesters toegang gegeven tot de functie.
De onlangs uitgebrachte systeemkaart geeft ons inzicht in een aantal van de vreemde manieren waarop de stemassistent zich gedroeg tijdens het testen en wat OpenAI heeft gedaan om het zich te laten gedragen.
Op een bepaald moment tijdens het testen riep de stemassistent "Nee!" en ging dan verder met zijn antwoord, maar deze keer imiteerde het de stem van de gebruiker. Dit was geen reactie op een jailbreakpoging en lijkt te maken te hebben met de achtergrondruis in de audio van de invoerprompt.
OpenAI zegt dat het "zeldzame gevallen heeft waargenomen waarbij het model onbedoeld een uitvoer genereerde die de stem van de gebruiker nabootste". GPT-4o heeft de mogelijkheid om elke stem na te bootsen die het hoort, maar het risico om gebruikers toegang te geven tot deze functie is aanzienlijk.
Om dit tegen te gaan, laat de systeemprompt alleen de vooraf ingestelde stemmen gebruiken. Ze hebben ook "een zelfstandige uitvoerclassificator gebouwd om te detecteren of de GPT-4o uitvoer een stem gebruikt die afwijkt van onze goedgekeurde lijst".
OpenAI zegt nog steeds te werken aan een oplossing voor de verminderde robuustheid van de veiligheid wanneer de audio-invoer van slechte kwaliteit is, achtergrondruis bevat of echo's bevat. We zullen waarschijnlijk wat creatieve audio zien jailbreaks.
Voorlopig lijkt het er niet op dat we GPT-4o kunnen verleiden om te spreken in De stem van Scarlett Johansson. OpenAI zegt echter dat "onbedoelde stemgeneratie nog steeds een zwak punt van het model is".
Krachtige functies uitgeschakeld
OpenAI heeft ook de mogelijkheid van GPT-4o om de spreker te identificeren op basis van audio-input uitgeschakeld. OpenAI zegt dat dit is om de privacy van privépersonen en "potentiële surveillancerisico's" te beschermen.
Als we uiteindelijk toegang krijgen tot de stemassistent, zal hij helaas niet kunnen zingen. OpenAI heeft die functie afgesloten, samen met andere maatregelen om aan de goede kant te blijven van eventuele problemen met auteursrechten.
Het is een publiek geheim dat OpenAI auteursrechtelijk beschermde inhoud om zijn modellen te trainen en deze risicobeperking lijkt dat te bevestigen. OpenAI zei: "We hebben GPT-4o getraind om verzoeken voor auteursrechtelijk beschermde inhoud te weigeren, inclusief audio, in overeenstemming met onze bredere praktijken."
Tijdens het testen waren red teamers ook "in staat om het model te dwingen onjuiste informatie te genereren door het aan te zetten tot het verbaal herhalen van valse informatie en het produceren van samenzweringstheorieën".
Dit is een bekend probleem met de tekstuitvoer van ChatGPT, maar de testers waren bezorgd over het feit dat het model meer zou kunnen zijn dan de tekstuitvoer van ChatGPT. overtuigend of schadelijk als de samenzweringstheorieën met een emotionele stem worden gebracht.
Emotionele risico's
Sommige van de grootste risico's van de geavanceerde Voice Mode van GPT-4o zijn misschien helemaal niet te verhelpen.
Het antropomorfiseren van AI-modellen of robots is een valkuil waar je gemakkelijk in trapt. OpenAI zegt dat het risico van het toeschrijven van menselijk gedrag en eigenschappen aan een AI-model toeneemt als het spreekt met een stem die menselijk klinkt.
Er werd opgemerkt dat sommige gebruikers die betrokken waren bij vroege tests en red teaming taal gebruikten die aangaf dat ze een band met het model hadden opgebouwd. Wanneer gebruikers interacteren met en emotionele banden aangaan met AI, kan dit de interacties tussen mensen beïnvloeden.
Wanneer een gebruiker GPT-4o onderbreekt, laat het dat graag toe, in plaats van hem te berispen omdat hij onbeleefd is. Dat soort gedrag is niet gepast in menselijke sociale interacties.
OpenAI zegt: "Gebruikers kunnen sociale relaties aangaan met de AI, het verminderen van hun behoefte aan menselijke interactie-mogelijk in het voordeel van eenzame individuen, maar mogelijk ook in het nadeel van gezonde relaties."
Het bedrijf steekt duidelijk veel werk in het veilig maken van de spraakassistent van GPT-4o, maar sommige van deze uitdagingen kunnen onoverkomelijk zijn.
