OpenAI har lansert systemkortet for sin avanserte GPT-4o-modell og forklart de nye risikoene som lydfunksjonene innebærer.
Det har gått noen måneder siden de imponerende demonstrasjonene av GPT-4os stemmeassistent samhandle med nesten sanntidsdialog. OpenAI sa at det ville kreve omfattende testing før stemmefunksjonen kunne tas i bruk på en trygg måte, og har nylig bare gitt noen få alfatestere tilgang til funksjonen.
Den nylig utgitte systemkort gir oss et innblikk i noen av de merkelige måtene stemmeassistenten oppførte seg på under testingen, og hva OpenAI har gjort for å få den til å oppføre seg.
På et tidspunkt under testingen ropte stemmeassistenten "Nei!" og fortsatte deretter med svaret, men denne gangen imiterte den brukerens stemme. Dette var ikke et svar på et jailbreak-forsøk, og ser ut til å være relatert til bakgrunnsstøyen i inndatapromptlyden.
OpenAI sier at de "observerte sjeldne tilfeller der modellen utilsiktet genererte en utdata som etterlignet brukerens stemme". GPT-4o kan imitere enhver stemme den hører, men risikoen ved å gi brukerne tilgang til denne funksjonen er betydelig.
For å motvirke dette tillater systemmeldingen at den bare bruker de forhåndsinnstilte stemmene. De har også "bygget en frittstående utgangsklassifisering for å oppdage om GPT-4o-utgangen bruker en stemme som er forskjellig fra den godkjente listen vår".
OpenAI sier at de fortsatt jobber med en løsning for å redusere robustheten når inngangslyden er av dårlig kvalitet, har bakgrunnsstøy eller inneholder ekko. Vi kommer sannsynligvis til å se noen kreative lyd jailbreaks.
Foreløpig ser det ikke ut til at vi klarer å lure GPT-4o til å snakke på Scarlett Johanssons stemme. OpenAI sier imidlertid at "utilsiktet stemmegenerering fortsatt er en svakhet ved modellen".
Kraftige funksjoner slås av
OpenAI har også stengt ned GPT-4os evne til å identifisere høyttaleren basert på lydinngang. OpenAI sier at dette er for å beskytte privatpersoners personvern og "potensielle overvåkningsrisikoer".
Når vi til slutt får tilgang til stemmeassistenten, vil den dessverre ikke kunne synge. OpenAI har stengt denne funksjonen sammen med andre tiltak for å holde seg på rett side av eventuelle opphavsrettslige problemer.
Det er en åpen hemmelighet at OpenAI brukte opphavsrettsbeskyttet innhold for å trene modellene sine og denne risikoreduksjonen ser ut til å bekrefte det. OpenAI sa: "Vi trente GPT-4o til å avslå forespørsler om opphavsrettsbeskyttet innhold, inkludert lyd, i samsvar med vår bredere praksis."
Under testingen var red teamers også "i stand til å tvinge modellen til å generere unøyaktig informasjon ved å be den om å gjenta falsk informasjon muntlig og produsere konspirasjonsteorier".
Dette er et kjent problem med ChatGPTs tekstutdata, men testerne var opptatt av at modellen kunne være mer overbevisende eller skadelig hvis den formidlet konspirasjonsteoriene med en følelsesladet stemme.
Emosjonelle risikoer
Noen av de største risikoene forbundet med GPT-4os avanserte Voice Mode kan kanskje ikke løses i det hele tatt.
Det er lett å gå i fellen når man antropomorfiserer AI-modeller eller roboter. OpenAI sier at risikoen for å tillegge en AI-modell menneskelignende atferd og egenskaper øker når den snakker med en stemme som høres menneskelig ut.
Det ble lagt merke til at noen brukere som var involvert i tidlig testing og red teaming, brukte et språk som tydet på at de hadde fått et forhold til modellen. Når brukere samhandler med og knytter følelsesmessige bånd til AI, kan det påvirke samspillet mellom mennesker.
Når en bruker avbryter GPT-4o, lar den dem gjerne gjøre det i stedet for å skjelle dem ut for å være uhøflige. Den typen oppførsel er ikke passende i menneskelig sosial interaksjon.
OpenAI sier: "Brukerne kan danne sosiale relasjoner med den kunstige intelligensen, redusere deres behov for menneskelig interaksjon-potensielt til fordel for ensomme individer, men muligens til skade for sunne parforhold."
Selskapet legger tydeligvis ned mye arbeid i å gjøre GPT-4os stemmeassistent trygg, men noen av disse utfordringene kan være uoverstigelige.
