LEBIGDATA.FR I.A, Cloud & Cybersécurité
La nouvelle version de ChatGPT pourrait présenter certains domaines de risques selon OpenAI. L’entreprise dispose déjà des solutions pour les atténuer. Pourtant, au pire des cas, GPT-4o pourrait devenir fou et imiter les voix de personnes.
Le tableau de bord de GPT-4o a été dévoilé la semaine dernière par OpenAI. Il s’agit d’un rapport dans lequel on trouve les principaux domaines de risque de ce grand modèle linguistique. On y trouve aussi les différentes techniques pour réduire ces risques.
Le modèle vocal de l’IA présente des aspects assez troublants
Dans les pires des cas, OpenAI a remarqué que le mode vocal avancé du ChatGPT est capable de contrefaire de manière fortuite la voix des utilisateurs sans leur accord, d’après le rapport d’Ars Technica.
« La génération de voix peut également se produire dans des situations non conflictuelles, comme lorsque nous utilisons cette capacité pour générer des voix pour le mode vocal avancé de ChatGPT », rapporte OpenAI dans sa documentation. « Au cours des tests, nous avons également observé de rares cas où le modèle générait involontairement une sortie imitant la voix de l’utilisateur. »
Voici comment il illustre ce phénomène : ChaGPT réalise soudainement une interprétation assez étrange de la voix de l’utilisateur après avoir hurlé « Non ! » sans aucune raison. C’est une sorte de violation de l’agrément indompté qui semble tout droit sortie d’un film d’horreur de science-fiction.
« OpenAI vient de divulguer l’intrigue de la prochaine saison de Black Mirror », a annoncé Max Woolf, un scientifique des données de BuzzFeed dans son tweet.
GPT-4o possède une capacité de clonage de voix hors pair
La fiche système de GPT-4o donne plus de détails sur la capacité de ce modèle d’IA à générer « un son avec une voix synthétique à consonance humaine ». La société affirme que cette faculté pourrait « faciliter des préjudices tels qu’une augmentation de la fraude due à l’usurpation d’identité et pourrait être exploitée pour diffuser de fausses informations ».
En effet, les facultés de GPT-4o ne se limitent pas à l’imitation des voix. Elle est aussi capable de le faire avec les « vocalisations non verbales » à l’instar des effets sonores et la musique.
En saisissant le bruit dans les entrées de l’utilisateur, ChatGPT choisi si la voix de l’utilisateur est appropriée pour la discussion en cours et être utilisé à cloner la voix. Le fonctionnement ressemble à celui des attaques par injection rapide.
Comment OpenAI compte limiter les risques de ce clonage de voix ?
La bonne nouvelle, c’est que la société a observé que le risque d’une reproduction vocale involontaire est « infime ».
OpenAI a d’ailleurs verrouillé la reproduction de voix involontaires dans ce modèle d’IA. Elle limite ainsi les utilisateurs aux voix générées par l’entreprise en association avec des acteurs vocaux.
« Ma lecture de la carte système est qu’il ne sera pas possible de la tromper en utilisant une voix non approuvée car ils ont mis en place une protection contre la force brute vraiment robuste contre cela », explique Simon Willison, chercheur en IA à Ars .
« Imaginez à quel point nous pourrions nous amuser avec le modèle sans filtre », a-t-il ajouté. « Je suis ennuyé qu’il ne puisse pas chanter. J’avais hâte de le voir chanter des chansons stupides à mon chien. »
Qu’en pensez-vous ? N’hésitez pas à partager vos avis sur ce sujet dans les commentaires !
Restez à la pointe de l’information avec LEBIGDATA.FR !
Abonnez-vous à notre chaîne YouTube et rejoignez-nous sur Google Actualités pour garder une longueur d’avance.
- Partager l'article :
