LEBIGDATA.FR I.A, Cloud & Cybersécurité
Mistral-NeMo-Minitron 8B est une variante de Mistral Nemo 12 B avec quatre milliards de paramètres. Elle a été conçue pour être utilisée sur l’appareil dans les jeux.
NVIDIA a révélé un nouveau modèle d’IA, plus petit et plus léger. Cette IA, baptisée Mistral-NeMo-Minitron 8B, est le fruit de la collaboration entre NVIDIA et Mistral AI, une entreprise française spécialisée dans l’Intelligence Artificielle. Cette mini IA est la version réduite de l’ancien modèle Mistral Nemo 12 B.
Les LLM sont des modèles qui ne sont pas compatibles avec nos appareils
Les LLM sont très appréciés depuis quelques années. Ils sont utilisés pour de nombreuses choses, à savoir la conception d’histoires interactives ou comme assistants IA sur les téléphones.
Néanmoins, ils ont le même problème : une taille colossale et le besoin d’un ordinateur ultra puissant pour fonctionner. C’est la raison pour laquelle ils ne peuvent pas être utilisés directement sur nos dispositifs personnels.
C’est là que les petits modèles de langage comme Mistral NeMo Minitron entrent en scène. Ces modèles d’IA sont conçus particulièrement pour marcher sur nos dispositifs. Nous n’avons plus besoin de nous connecter à de gros serveurs pour accéder à un modèle plus fiable et plus précis.
Le Mistral NeMo Minitron 8B, récemment développé par Mistral AI et Nvidia, est une illustration parfaite de ce petit modèle, bien qu’il soit assez important avec ses huit milliards de paramètres.
Comment fonctionne l’IA NeMo Minitron 8B ?
Certes, NeMo Minitron 8B est une mini IA, mais elle demande quand même des ordinateurs assez puissants, connus sous le nom de stations de travail haut de gamme. Ces appareils doivent être équipés de RTX, les cartes graphiques spéciales de NVIDIA. Elles sont très adéquates pour ce genre de tâches.
Cependant, son principal atout, c’est qu’il peut marcher sur des ordinateurs normaux, à mesure qu’ils sont dotés de carte graphique NVIDIA RTX.
D’après l’explication de Bryan Catanzaro, un haut responsable chez NVIDIA, ils ont utilisé deux techniques pour améliorer ce modèle d’IA et le rendre encore plus efficace : l’élagage et la distillation.
« C’est un peu comme tailler un arbre. On a réduit le nombre de paramètres, qui sont les éléments de base du modèle, de 12 milliards à 8 milliards », ajoute Bryan.
Un modèle qui peut fonctionner sur un ordinateur personnel
NeMo Minitron 8B est un modèle d’IA vraiment impressionnant. Certes, elle est ultralégère, mais elle fonctionne parfaitement comme la version originale. NVIDIA et Mistral ont trié leur modèle en conservant uniquement les parties les plus essentielles pour la précision.
Par ailleurs, ils ont réduit la quantité de données que demande l’entraînement du modèle. Plus précisément, au lieu d’apprendre avec une bibliothèque entière, l’IA apprenait avec uniquement quelques livres bien choisis.
C’est pour cette raison que le modèle ne demande qu’une quarantième du temps de calcul par rapport à la version originale pour être entraîné. Toutefois, le travail ne s’est pas arrêté là. Le géant de cartes graphiques NVIDIA se servait également des mêmes techniques pour développer un modèle encore plus petit, nommé Nemotron-4 4B Instruct.
C’est un modèle spécialement conçu pour fonctionner sur des ordinateurs personnels ainsi que des ordinateurs portables ordinaires. NVIDIA souhaite en faire usage pour apporter ce qu’ils désignent la technologie humaine numérique de pointe dans les jeux vidéo. Bref, les jeux vidéo pourraient avoir des personnages encore plus intelligents. Cela pourrait proposer aussi des interactions plus naturelles dans les jeux.
Restez à la pointe de l’information avec LEBIGDATA.FR !
Abonnez-vous à notre chaîne YouTube et rejoignez-nous sur Google Actualités pour garder une longueur d’avance.
- Partager l'article :
