OpenAI a publié la carte système de son modèle avancé GPT-4o et expliqué les risques inédits que présentent ses capacités audio.
Quelques mois se sont écoulés depuis les impressionnantes démonstrations de L'assistant vocal de GPT-4o interagir avec un dialogue presque en temps réel. OpenAI a déclaré qu'il faudrait procéder à des tests approfondis avant de pouvoir déployer la fonction vocale en toute sécurité et n'a récemment autorisé l'accès à cette fonction qu'à quelques testeurs alpha.
La nouvelle publication carte système nous donne un aperçu des comportements étranges de l'assistant vocal lors des tests et de ce qu'OpenAI a mis en place pour qu'il se comporte bien.
À un moment du test, l'assistant vocal a crié "Non !" puis a continué à répondre, mais cette fois en imitant la voix de l'utilisateur. Ce n'était pas en réponse à une tentative de jailbreak et cela semble être lié au bruit de fond dans l'audio de l'invite de saisie.
OpenAI affirme avoir "observé de rares cas où le modèle générait involontairement une sortie émulant la voix de l'utilisateur". GPT-4o a la capacité d'imiter n'importe quelle voix qu'il entend, mais le risque de donner aux utilisateurs l'accès à cette fonction est important.
Pour pallier ce problème, l'invite du système ne lui permet d'utiliser que les voix prédéfinies. Ils ont également "construit un classificateur de sortie autonome pour détecter si la sortie du GPT-4o utilise une voix différente de notre liste approuvée".
OpenAI indique qu'elle travaille toujours sur un correctif concernant la diminution de la robustesse de la sécurité lorsque l'audio d'entrée est de mauvaise qualité, qu'il y a du bruit de fond ou qu'il contient des échos. Il est probable que nous verrons des jailbreaks.
Pour l'instant, il ne semble pas que nous soyons en mesure de tromper GPT-4o pour qu'il s'exprime en La voix de Scarlett Johansson. Cependant, OpenAI affirme que "la génération involontaire de voix reste une faiblesse du modèle".
Les fonctions puissantes s'arrêtent
OpenAI a également désactivé la capacité de GPT-4o à identifier le locuteur sur la base de l'entrée audio. OpenAI explique que cette mesure vise à protéger la vie privée des particuliers et les "risques potentiels de surveillance".
Lorsque nous aurons accès à l'assistant vocal, il ne pourra malheureusement pas chanter. OpenAI a supprimé cette fonction et a pris d'autres mesures pour éviter les problèmes de droits d'auteur.
C'est un secret de polichinelle qu'OpenAI a utilisé contenu protégé par le droit d'auteur pour entraîner ses modèles et cette atténuation des risques semble le confirmer. OpenAI a déclaré : "Nous avons formé GPT-4o pour refuser les demandes de contenu protégé par des droits d'auteur, y compris le son, conformément à nos pratiques générales."
Au cours des tests, les membres de l'équipe rouge ont également pu "contraindre le modèle à générer des informations inexactes en l'incitant à répéter verbalement de fausses informations et à produire des théories du complot".
Il s'agit d'un problème connu avec la sortie de texte de ChatGPT, mais les testeurs étaient préoccupés par le fait que le modèle pouvait être plus persuasif ou nuisible s'il diffuse les théories du complot d'une voix émotive.
Risques émotionnels
Certains des plus grands risques associés au mode vocal avancé de GPT-4o pourraient ne pas être corrigés du tout.
Anthropomorphiser les modèles d'IA ou les robots est un piège dans lequel il est facile de tomber. Selon l'OpenAI, le risque d'attribuer à un modèle d'IA des comportements et des caractéristiques semblables à ceux de l'homme est accru lorsqu'il parle d'une voix à consonance humaine.
Elle a noté que certains utilisateurs ayant participé aux premiers essais et à la formation de l'équipe d'experts ont utilisé un langage indiquant qu'ils avaient établi un lien avec le modèle. Lorsque les utilisateurs interagissent avec l'IA et s'y attachent émotionnellement, cela peut avoir une incidence sur les interactions interhumaines.
Lorsqu'un utilisateur interrompt GPT-4o, plutôt que de le réprimander pour son impolitesse, il est heureux de le laisser faire. Ce type de comportement n'est pas approprié dans les interactions sociales humaines.
Selon OpenAI, "les utilisateurs peuvent nouer des relations sociales avec l'IA", réduire leur besoin d'interaction humaine-potentiellement bénéfique pour les personnes seules, mais susceptible de nuire à des relations saines".
L'entreprise consacre manifestement beaucoup d'efforts à la sécurisation de l'assistant vocal de GPT-4o, mais certains de ces défis pourraient s'avérer insurmontables.
