LEBIGDATA.FR I.A, Cloud & Cybersécurité
Alors que GPT-4 est considéré comme le modèle de langage le plus large du marché, un cadre de Samsung vient de lâcher une information comparable à une bombe : GPT-5 serait quasiment deux fois plus large ! Si ce chiffre est avéré, la puissance de cette IA pourrait dépasser l’entendement…
Depuis le lancement de GPT-4, OpenAI n’a jamais dévoilé de détails sur l’architecture de ce LLM considéré comme l’un des plus avancés de l’industrie de l’IA.
L’entreprise n’a notamment pas révélé son nombre de paramètres, que l’on peut définir comme l’équivalent du nombre de neurones dans un cerveau.
En général, le nombre de paramètres d’un modèle IA de langage impacte la quantité d’informations qu’il est capable de traiter et de garder en mémoire.
Malgré l’absence d’indications officielles d’OpenAI, plusieurs experts ont livré leurs estimations. En juin 2023, quelques mois après le lancement du modèle, le hacker George Hotz a expliqué que GPT-4 a environ 1,8 billion de paramètres.
Peu après, les analystes de Semianalysis sont parvenus à la même conclusion à travers un rapport. Lors de la conférence GTC24, Nvidia a également dévoilé un graphique suggérant ce nombre de paramètres.
Même son de cloche chez Meta, dont l’ingénieur Soumith Chintala a confirmé les estimations de Hotz à travers un tweet. Selon lui, GPT-4 est en fait constitué d’un assemblage de 8 modèles de 220 milliards de paramètres.
Si l’on se fie à ces sources, GPT-4 est de loin le plus large modèle de langage du marché. En comparaison, Google Gemini Ultra arrive en deuxième position avec seulement 1 billion de paramètres.
Auparavant, GPT-3 n’avait que 175 milliards de paramètres, GPT-2 en avait 1 milliard et demi, et GPT-1 à peine 117 millions. Un bond de géant a donc été effectué en quatre générations.
Toutefois, il ne s’agit que d’un début. Si l’on se fie à ce que vient d’annoncer un cadre de Samsung lors de la Semicon Taïwan le 4 septembre 2024, la prochaine version de GPT sera quasiment deux fois plus large !
GPT-5 deux fois plus large que GPT-4 ? Samsung révèle le secret !
Selon le graphique présenté sur scène par le Dr Jung Bae Lee, GPT-5 aurait ainsi 3,5 billions de paramètres ! Ce futur LLM sera tout simplement colossal, à tel point que son intelligence rivalisera avec celle d’un doctorant humain…
Sa diapositive du Dr Jung Bae Lee révèle aussi que GPT-5 est entraîné sur 7000 puces NVIDIA B100, ce qui représente une puissance de calcul absolument gargantuesque.
On ignore s’il s’agit d’une estimation, ou de données réelles révélées en avant-première par ce cadre de Samsung. Toutefois, beaucoup d’internautes semblent convaincus qu’il s’agit bel et bien d’une fuite d’informations.
Pour cause, en tant que fournisseur de semi-conducteurs, Samsung a très probablement accès aux informations techniques confidentielles de la firme américaine.
Les GPU comme ceux de NVIDIA sur lesquels sont entraînés les IA d’OpenAI utilisent des composants de mémoire dont Samsung est l’un des principaux producteurs.
Lancement imminent pour la fusée GPT-5 ?
Ce nouveau leak sur GPT-5 succède à l’annonce du CEO d’OpenAI Japon, qui a révélé le 3 septembre 2024 lors de la KDDI 2024 que GPT Next (le prochain GPT) serait 100 fois plus puissant que GPT-4.
Les fuites d’informations s’enchaînent au sujet de cette IA très attendue, et tout porte donc à croire que son lancement est imminent. OpenAI pourrait dévoiler GPT-5 fin 2024, ou début 2025, et marquer le début de la prochaine étape dans l’évolution de l’intelligence artificielle !
Et vous, qu’en pensez-vous ? S’agit-il d’une information confidentielle dévoilée par Samsung, ou simplement d’une estimation du Dr Jung Bae Lee ? Pensez-vous que GPT-5 sera vraiment beaucoup plus puissant que GPT-4 ? Partagez votre avis en commentaire !
Restez à la pointe de l'information avec LEBIGDATA.FR !
- Partager l'article :
tellement hâte de voir ca