LEBIGDATA.FR I.A, Cloud & Cybersécurité
La collaboration entre la startup française Mistral et Nvidia donne naissance à Mistral Nemo 12 B. Elle se distingue par ses 12 milliards de paramètres et par le fait qu'elle est plutôt adaptée pour les applications d'entreprise.
La société française Mistral et Nvidia ont révélé la semaine dernière Mistral NeMo 12 B. Il s'agit d'un modèle de langage de pointe personnalisable. Cette IA est surtout adaptée pour les applications d'entreprise, à savoir la synthèse, les chatbots, les tâches multilingues ou encore le codage.
De nombreux outils Nvidia ont été utilisés par l'équipe de Mistral pour obtenir le modèle NeMo 12 B
Pour développer ce LLM, Mistral NeMo a été entraîné de plusieurs manières différentes. En premier lieu, elle est passée par la plateforme DGX Cloud AI de Nvidia. Ensuite, elle a été entraînée sur TensorRT-LLM, une bibliothèque Open Source dont la principale mission est d'accélérer la création de LLM.
Par ailleurs, la plateforme de déploiement de NeMo a été utilisée pour améliorer tout le processus de développement du modèle d'IA générative.
D'après les sources, les équipes de développement se sont surtout basées sur Megatron-LM, un modèle faisant partie de NeMo. Ce dernier est pourvu de 3 072 GPU H100 80 GB Tensor Core sur DGX Cloud constitué de l'architecture d'IA de Nvidia, dont la structure réseau. Il inclut également le calcul accéléré, le logiciel afin d'améliorer la performance de l'entraînement.
Mistral NeMo 12B, une IA déployable en seulement quelques minutes
Ce nouveau modèle d'IA de Mistral et Nvidia est distribué sous une licence Apache 2.0. Il se présente en effet comme microservice d'inférence Nvidia NIM. Notons qu'il s'agit d'un format conteneurisé qui a pour mission principale de faciliter le déploiement du langage dans les applications d'entreprise.
« En conséquence, les modèles peuvent être déployés n'importe où en quelques minutes, au lieu de plusieurs jours », annonce Nvidia dans un communiqué.
Ce modèle est développé afin qu'il puisse se porter dans la mémoire de certains modèles de GPU, à savoir le GPU L40S, GeForce RTX 4090 ou RTX 4500. Vous pouvez d'ores et déjà accéder à ce LLM, car il est disponible sur le site de Nvidia. Très prochainement, il aura également un NIM associé.
Des prouesses exaltées par le géant de la Tech Nvidia
« Excellant dans les conversations à plusieurs tours, les mathématiques, le raisonnement de bon sens, la connaissance du monde et le développement logiciel, ce modèle d'IA de niveau entreprise offre des performances précises et fiables dans diverses tâches », proclame Nvidia.
En plus de ses 12 milliards de paramètres, ce modèle possède aussi une fenêtre contextuelle de 128 000 tokens, suffisamment conséquents. Lui conférant une capacité à traiter de longs documents et à engager des conversations en plusieurs étapes.
Rappelons que le géant des puces d'IA n'est pas à son premier financement avec Mistral. Il a l'habitude de travailler avec des sociétés spécialisées dans les modèles d'IA générative. D'ailleurs, il a beaucoup contribué durant la levée de fonds de 385 millions d'euros de Mistral AI, terminée en décembre dernier.
Que pensez-vous de cette nouvelle alliance de Mistral et Nvidia et de l'avenir de cette nouvelle IA ? Vous pouvez partager votre avis dans les commentaires.
Restez à la pointe de l'information avec LEBIGDATA.FR !
Abonnez-vous à notre chaîne YouTube et rejoignez-nous sur Google Actualités pour garder une longueur d'avance.
- Partager l'article :
