LEBIGDATA.FR I.A, Cloud & Cybersécurité
Sous le pinceau de la distillation par Deepseek, la création d’une IA s’éclaire doucement. Cette idée brillante simplifie le processus de création de modèles de langage, loin des mastodontes coûteux.
Longtemps utilisée, la distillation d’IA refait surface grâce à la startup chinoise DeepSeek. Cette astuce ingénieuse consiste à copier le processus d’apprentissage d’un grand modèle de langage (LLM) pour en entraîner un plus petit. L’IA qui en résulte, appelée modèle étudiant, est performante et pratique. Contrairement au modèle enseignant, cette IA distillée est rapide, moins chère et peut tourner sur un ordinateur classique, voire un smartphone.
L’étudiant veut dépasser l’enseignant
« C’est presque magique », commente Olivier Godement, responsable chez OpenAI. DeepSeek a prouvé l’efficacité de la distillation en s’appuyant sur des LLM open source, notamment ceux de Meta et Alibaba. L’équipe a récupéré ces modèles gratuits, les a optimisés et allégés sans sacrifier leurs performances.
Une stratégie maligne qui a surpris jusqu’aux géants américains comme OpenAI et Microsoft, pourtant leaders du marché. Face à ce succès, ces derniers ont adopté la même approche. Pour rappel, Microsoft a injecté 14 milliards de dollars dans OpenAI pour développer ses propres modèles distillés, baptisés Phi.
La distillation par DeepSeek filtre des fonctionnalités importantes
La distillation a ses limites. Bien que ces modèles allégés excellent dans des tâches précises, ils perdent en polyvalence. « Un chatbot distillé peut gérer des e-mails comme un pro, mais ne lui demandez pas d’écrire un roman », souligne Ahmed Awadallah de Microsoft. Le modèle étudiant constitue un compromis acceptable pour de nombreuses entreprises, selon David Cox d’IBM : « La plupart n’ont pas besoin d’un modèle ultra-puissant, mais d’un outil efficace et abordable. »
Pour OpenAI et consorts, cette tendance pose un défi. Moins gourmands en ressources, ces petits modèles se vendent à bas prix, menaçant les profits des géants de l’IA. Mais pour les startups et les développeurs indépendants, c’est une opportunité en or. La distillation par Deepseek démocratise l’accès à l’IA, sans exiger des moyens colossaux.
Il reste une zone d’ombre. DeepSeek utilise-t-il aussi la distillation sur les modèles d’OpenAI ? Si tel était le cas, ce serait une violation des règles. Pour l’instant, la startup garde le silence à ce sujet. Mais une chose est sûre : la distillation n’a pas fini de secouer le monde de l’IA.
Restez à la pointe de l'information avec LEBIGDATA.FR !
- Partager l'article :
