LEBIGDATA.FR I.A, Cloud & Cybersécurité
Si l’on continue à ce rythme, « l’effondrement des modèles » est susceptible de rendre les systèmes d’IA moins utiles. De plus, cela pourrait encombrer internet d’un babillage incompréhensible.
Une récente étude prévient que les systèmes d’IA pourraient doucement remplir internet d’absurdités que l’on risque de ne pas comprendre. Pour ne pas arriver à un tel dégât, il faudra faire très attention ! D’ailleurs, ces scientifiques alertent !
Qu’est-ce que l’effondrement de modèles ?
Tous les modèles d’intelligence artificielle comme GPT-4, alimentant ChatGPT ou encore Claude 3 Opus sont fondés sur des milliers de milliards de mots partagés en ligne pour qu’ils puissent devenir plus intelligents.
Toutefois, au fur et à mesure qu’ils colonisent graduellement Internet avec leur propre production, ils peuvent produire des boucles de rétroaction autodestructrice. C’est ce qu’une équipe de chercheurs a nommé « l’effondrement du modèle ».
Ces chercheurs ont étudié le phénomène et ont trouvé qu’il pourrait laisser internet chargé de charabia inintelligible si l’on ne fait rien. Rappelons que cette équipe de chercheurs a publié ces conclusions le 24 juillet dans la revue Nature.
Comment fonctionne réellement l’effondrement de modèle ?
« Imaginez que vous preniez une photo, que vous la scannez, que vous l’imprimiez et que vous répétiez le processus. Au cours de ce processus, le scanner et l’imprimante introduisent leurs erreurs, déformant au fil du temps l’image », explique à Live Science l’auteur principal Ilia Shumailov, informaticien à l’université d’Oxford.
« Des phénomènes similaires se produisent dans l’apprentissage automatique. Plus précisément, les modèles qui apprennent d’autres modèles absorbent les erreurs, introduisent les leurs, ce qui, au fil du temps, brise l’utilité du modèle. »
Les systèmes d’IA s’agrandissent grâce aux données d’entraînement dégagées à partir de l’intervention humaine. Cela permet ainsi d’extraire des modèles probabilistes de leurs réseaux neuronaux quand ils y sont conviés.
Notons que GPT-3.5 a été nourrie sur environ 570 gigaoctets de données textuelles résultat du référentiel common Crawl. Plus précisément, cette IA a été formée avec plus de 300 milliards de mots, obtenus à partir de livres, de Wikipédia, d’articles en ligne ou d’autres pages Web.
Pourquoi nourrir l’IA de données scientifiques ?
Les données produites par l’homme sont limitées, ainsi, elles finiront certainement par s’épuiser d’ici la fin de la décennie. Après ce délai, pour obtenir des données, il faudra récolter des données privées auprès des utilisateurs.
Par ailleurs, il est également possible de réintroduire des données « synthétiques » produites par l’IA dans les modèles. Afin d’étudier les conséquences de cet entraînement des modèles d’IA sur leurs propres résultats, Shumailov et ses collègues ont réalisé l’expérience.
Ils ont constaté qu’au fur et à mesure que la création de contenu autoproduit s’accumulait, les réponses de leur modèle commençaient à se dégrader en « délires délirants ».
Cette révélation est relativement inquiétante ! Et vous ? Qu’est-ce que vous en pensez ? Partagez avec nous votre avis dans les commentaires.
Restez à la pointe de l’information avec LEBIGDATA.FR !
Abonnez-vous à notre chaîne YouTube et rejoignez-nous sur Google Actualités pour garder une longueur d’avance.
- Partager l'article :
