LEBIGDATA.FR I.A, Cloud & Cybersécurité
Une étude récente montre que les modèles d'IA nourris avec des données générées par l'IA pourraient s'autodétruire de façon récurrente.
Une enquête publiée hier dans Nature devrait nous inquiéter ! Elle révèle que les modèles d'intelligence artificielle pourraient se dégrader. Le contenu original de l'IA peut ainsi se convertir en un charabia irrécupérable en seulement quelques générations.
Le résultat de l'étude affirme que l'autoformation augmente le risque croissant d'effondrement des modèles d'IA. Elle suggère ainsi de former les modèles d'IA avec des sources de données originales et d'un filtrage ordonné des données.
En quoi consiste l'effondrement de modèle de l'IA ?
L'effondrement de modèle d'IA est un phénomène provoquant la dégradation d'un modèle d'IA lorsqu'on le nourrit avec de nombreuses données synthétiques.
« L'effondrement des modèles fait référence à un phénomène dans lequel les modèles s'effondrent en raison d'un entraînement indiscriminé sur des données synthétiques », déclare Shumailov, chercheur à l'Université d'Oxford et auteur principal de l'article, dans un courriel adressé à Gizmodo.
Ce phénomène se produit en général quand on nourrit un modèle d'intelligence artificielle avec trop de données créées par l'IA.
L'enquête affirme que les outils d'IA générative comme les grands modèles linguistiques sont susceptibles d'oublier tout ou une partie des données d'entraînement. C'est la raison pour laquelle le modèle ne se transporte que sur certaines données.
Quels types d'IA pourraient être touchés par cet effondrement de modèle ?
Étant donné que les LLM ou grands modèles linguistiques sont un type de modèle d'intelligence artificielle qui se nourrit de grandes quantités d'informations, ils peuvent traduire les données qu'elles contiennent. Elles peuvent être également appliquées à divers cas d'utilisation.
Ce type de modèle d'IA a été généré afin de déchiffrer et de générer du texte, les rendant utiles comme chatbots et assistants IA. Toutefois, le fait de négliger certains pans de texte qu'il est censé lire et inclure dans sa base de connaissances peut le briser à une coquille de lui-même assez rapidement, selon l'équipe de recherche.
Shumailov déclare : « Au début de l'effondrement du modèle, les premiers perdent de la variance, ce qui entraîne une baisse des performances sur les données minoritaires ». « Au stade tardif de l'effondrement du modèle, [le] modèle s'effondre complètement. »
De ce fait, si l'on continue d'entraîner les modèles d'IA sur des textes davantage moins précis et pertinents qu'ils ont produits eux-mêmes, la boucle répétitive pourrait provoquer la dégénérescence du modèle.
La saturation du Web pourrait aggraver l'effondrement des modèles
L'encombrement du Web est un phénomène qui existe depuis longtemps. La pratique qui consiste à tromper l'algorithme de recherche afin de donner la priorité à un site pour les clics est à l'origine. Mais ce qui inquiète le plus, c'est que les articles générés par l'IA peuvent être produits en un rien de temps.
« Bien que les effets d'un Internet généré par l'IA sur les humains restent à voir, Shumailov et al. signalent que la prolifération de contenu généré par l'IA en ligne pourrait être dévastatrice pour les modèles eux-mêmes », explique Emily Wenger, informaticienne à l'Université Duke spécialisée dans la confidentialité et la sécurité, dans un article associé de News & Views .
« L'effondrement des modèles pose notamment des problèmes d'équité dans l'IA générative. Les modèles effondrés négligent les éléments les moins courants de leurs données d'entraînement et ne parviennent donc pas à refléter la complexité et les nuances du monde », ajoute-t-elle.
« Cela présente un risque que les groupes ou les points de vue minoritaires soient moins représentés, voire potentiellement effacés. »
Restez à la pointe de l'information avec LEBIGDATA.FR !
Abonnez-vous à notre chaîne YouTube et rejoignez-nous sur Google Actualités pour garder une longueur d'avance.
- Partager l'article :
