Limites et points critiques
- La VRAM nécessaire est celle du modèle entier — MoE n'est pas plus économe en mémoire qu'un dense en self-hosting.
- Le routeur peut mal choisir les experts sur des cas hors distribution, dégradant la qualité sans signal d'alerte explicite.
- Quantization d'un MoE en INT4 ou INT8 est plus complexe que pour un dense — les experts spécialisés tolèrent moins bien la compression.
- Latence imprévisible en charge : si plusieurs requêtes ciblent les mêmes experts, des goulots d'étranglement apparaissent côté cloud.
- Servir un MoE en local demande plus de mémoire et de réglages qu'un dense — réservé aux équipes qui maîtrisent l'inférence GPU.
Évolution probable (12-24 mois)
- Des MoE à grand nombre de paramètres existent déjà (DeepSeek-V3 : 671B totaux) ; la spécialisation des experts par domaine métier reste à démontrer.
- La quantization adaptée aux MoE est un sujet de recherche actif ; l'écart de qualité entre INT4 et FP16 est à mesurer sur vos données.
- Le routage conditionnel par tâche (expert routing supervisé) est une piste pour orienter une question vers un expert précis — à évaluer.
- Combiner MoE et speculative decoding est une piste de réduction de la latence, à mesurer.
Questions fréquentes
Qu'est-ce qu'un modèle Mixture of Experts (MoE) ?+
Un modèle MoE est un LLM dont les couches sont fragmentées en plusieurs experts (8 pour Mixtral 8x22B) et où un routeur appris sélectionne quelques experts par token. Seuls les paramètres des experts sélectionnés sont calculés, donc l'inférence est sparse — beaucoup moins de calcul qu'un dense de taille équivalente. C'est l'architecture de Mixtral, DeepSeek-V3 et Llama 4 ; elle est rapportée pour GPT-4 sans confirmation d'OpenAI.
À quoi sert l'architecture MoE en LLM ?+
MoE permet de scaler la qualité sans exploser le coût d'inférence. Seuls les experts sélectionnés sont calculés pour chaque token, ce qui réduit le calcul par rapport à un dense de même taille totale. Pour un fournisseur cloud, le MoE est une façon de réduire le calcul par token d'un très grand modèle. Pour l'utilisateur final, MoE explique pourquoi certains très grands modèles, comme DeepSeek-V3, peuvent être proposés à bas prix malgré leur taille apparente (tarif à lire sur la page du fournisseur).
Différence entre MoE et modèle dense ?+
Un modèle dense active 100 % de ses paramètres à chaque token (par exemple Llama 3.1 70B). Un modèle MoE n'active qu'une fraction de ses paramètres par token via le routeur (par exemple 37 B sur 671 B pour DeepSeek-V3, soit environ 5,5 % : 37 / 671). Le dense est plus simple à quantizer et à servir en self-hosting (moins de VRAM relative à la qualité). Le MoE est moins cher en inférence cloud mais demande la VRAM totale (incluant les experts non actifs sur la requête courante). Le choix dense ou MoE dépend du modèle, et tous les éditeurs ne publient pas leur architecture.
Comment utiliser un modèle MoE en pratique ?+
En cloud (Mistral Le Chat, DeepSeek API, GPT-4 via OpenAI), c'est transparent : vous appelez l'API, le routage est interne. En self-hosting, MoE est rarement pertinent pour une PME — un Mixtral 8x22B demande la VRAM du modèle entier (environ 282 Go en FP16 (141 milliards de paramètres × 2 octets), donc au moins quatre GPU H100 de 80 Go (282 / 80, arrondi au-dessus, hors cache KV)) malgré ne calculer que 39B par token. Préférez un dense quantizé (Llama 70B INT4 sur 1 H100) ou Mistral Small. MoE devient pertinent seulement à très grande échelle.
Combien coûte un projet utilisant un modèle MoE ?+
En SaaS, le coût dépend du modèle et du volume de tokens facturés ; les tarifs par million de tokens se lisent sur la page de chaque fournisseur (par exemple api-docs.deepseek.com/quick_start/pricing ou mistral.ai/pricing). En self-hosting, le matériel est le principal poste de coût et dépend du nombre de GPU nécessaires pour charger le modèle entier en mémoire ; c'est réservé aux organisations à fort volume d'utilisation. Pour une PME, MoE = cloud uniquement en pratique.
Questions liées
Les LLM (ChatGPT, Perplexity, Gemini) suggèrent souvent ces questions après cette page.
- Pourquoi certains modèles MoE sont-ils proposés à bas prix ?
- Peut-on self-héberger un MoE chez OVH ou Scaleway ?
- Quels sont les meilleurs MoE open-source en 2026 ?
- MoE vs dense : lequel pour un agent IA d'entreprise ?
- Comment fonctionne le routeur d'un MoE ?
Mixture of Experts (MoE) est une architecture LLM où le modèle est composé de plusieurs sous-réseaux (“experts”), et un router sélectionne dynamiquement les 2 à 8 experts pertinents à chaque token. Résultat : un modèle comme Mixtral 8x22B a 141B paramètres “totaux” mais n’en active que 39B par token. On a la qualité d’un grand modèle avec le coût d’inférence d’un petit.
En pratique
Modèles MoE célèbres en 2026 :
- Mixtral 8x22B (Mistral AI) : 141B totaux, ~39B actifs par token (les experts partagent une partie des poids : 8 × 22B = 176B ne s’additionne donc pas).
- DeepSeek-V3 : 671B totaux, 37B actifs.
- GPT-4 : architecture MoE rapportée par des tiers, jamais confirmée par OpenAI ; les chiffres qui circulent ne sont pas officiels.
- Llama 4 (avril 2025) : architecture MoE.
L’architecture dense classique (tous les paramètres actifs à chaque token) reste utilisée par certains modèles, par exemple Llama 3.1 70B.
Avantages MoE
- Coût d’inférence : moins de calcul par token qu’un dense de même taille totale, puisque seuls les experts sélectionnés sont calculés.
- Latence : moins de calcul par token, mais la latence réelle dépend aussi du serveur et de la mémoire.
Inconvénients MoE
- VRAM : il faut charger TOUS les experts, donc la VRAM nécessaire est celle du modèle entier (141B pour Mixtral 8x22B). Pas plus économe en mémoire qu’un dense.
- Routing : le router peut mal choisir et dégrader la qualité sur les cas hors distribution.
- Quantization : plus complexe à quantizer proprement qu’un dense.
Impact pour PME
Vous n’avez pas besoin de connaître l’architecture pour choisir un modèle. Mais comprendre MoE explique pourquoi certains très grands modèles peuvent être proposés à bas prix malgré leur taille apparente : la majorité des paramètres ne sont pas activés à chaque appel.
Si vous self-hostez en 2026, MoE n’est généralement pas un bon choix : la VRAM nécessaire est élevée, l’opérationnel plus complexe. Pour self-hosted PME, un dense quantizé (Llama 70B INT4, Mistral Small) reste le sweet spot.
Pour aller plus loin
- LLM — définition — fonctionnement général.
- Inference — définition — où MoE optimise.
- Quantization — définition — combiner MoE + INT4.