Mixture of experts (MoE) ou modèle dense : le guide simple

Le 27 janvier 2025, Nvidia a perdu 589 milliards de dollars de capitalisation en une séance, un record. En cause : DeepSeek-R1, un modèle ouvert publié quelques jours plus tôt par le chinois DeepSeek, comparable à o1 d'OpenAI en mathématiques, en code et en raisonnement. Ce modèle est un mixture of experts (MoE, ou mélange d'experts) : sur ses 671 milliards de paramètres, 37 milliards seulement travaillent sur chaque token. Depuis, presque tous les grands modèles d'IA ouverts sont des MoE, de Qwen 3.8 Max d'Alibaba (2 400 milliards de paramètres, 95 milliards actifs) à Mistral Large 3 (675 milliards, 41 milliards actifs). Quelques modèles font exception et sont dits denses, comme Qwen 3.8 27B, qu'Alibaba présente comme un « deployment-friendly dense model ».

Un mixture of experts (MoE) est un LLM, ou grand modèle de langage, découpé en sous-réseaux, les experts, entre lesquels un routeur répartit le travail : pour chaque token (un mot ou un morceau de mot), il n'en réveille que quelques-uns. Un modèle dense, lui, fait travailler tous ses paramètres sur chaque token. La différence paraît technique, mais elle décide de la mémoire à acheter, de la vitesse ressentie par vos utilisateurs et du prix que vous paierez au token.

Faut-il préférer un MoE ? Cela dépend de votre infrastructure. Le MoE économise du calcul, le dense économise de la mémoire. Si vous passez par une API, c'est le fournisseur qui arbitre, et vous n'avez qu'à comparer prix et qualité. Si vous hébergez le modèle sur quelques GPU, l'architecture compte, et le dense redevient souvent le bon choix, d'autant que la mémoire coûte de plus en plus cher : selon TrendForce, les prix contractuels de la DRAM ont augmenté de 93 à 98 % en un seul trimestre au début de 2026.

Qu'est-ce qu'un modèle dense ?

Un modèle de langage est un très grand réseau de calcul, réglé pendant l'entraînement par des milliards de nombres : ses paramètres. Il lit et écrit le texte par petits morceaux, les tokens (un mot court, une partie de mot long). Pour produire chaque token, un modèle dense fait passer le calcul par tous ses paramètres, sans exception.

C'est l'architecture historique des grands modèles de langage, et elle a un avantage de simplicité : la mémoire nécessaire et le calcul par token se déduisent directement de la taille. Un modèle dense de 27 milliards de paramètres en pèse 55,6 Go en BF16, le format de référence, et fait travailler ces 27 milliards de paramètres à chaque token. Son défaut tient à la même règle : pour le rendre plus capable, il faut l'agrandir, et chaque paramètre ajouté rend chaque token plus cher à produire.

Qu'est-ce qu'un mixture of experts (MoE) en IA ?

Un MoE remplace certaines couches du réseau par une série de petits réseaux parallèles, les experts, précédés d'un routeur. Pour chaque token, le routeur choisit les quelques experts les plus adaptés et ignore les autres, puis le modèle combine les résultats des experts choisis. Hugging Face le résume ainsi : le routeur « determines which tokens are sent to which expert ». Pendant l'entraînement, une pénalité incite le routeur à répartir le travail équitablement, pour qu'aucun expert ne reste inutilisé.

Le nom d'un LLM MoE porte souvent deux chiffres. Qwen 3.6 35B-A3B compte 35 milliards de paramètres au total, dont 3 milliards actifs (le « A » de « A3B ») pour chaque token. Mixtral 8x7B, de Mistral AI, compte huit experts par couche, dont deux sont choisis pour chaque token : 47 milliards de paramètres en tout, 13 milliards actifs. Les modèles récents poussent le découpage beaucoup plus loin : Qwen 3.8 Flash-Next en a 512, dont 10 choisis par le routeur et un expert « partagé » qui travaille toujours.

Un expert n'est pas un spécialiste du droit ou de la finance

Le mot « expert » trompe. On imagine un expert juridique, un expert en code, un expert en médecine. Ce n'est pas ce qui se passe. Les experts se répartissent le travail eux-mêmes pendant l'entraînement, sans que personne ne leur assigne de thème. Quand l'équipe de Mistral a regardé quels experts de Mixtral étaient appelés sur des articles scientifiques, de la biologie ou de la philosophie, elle a écrit : « we do not observe obvious patterns in the assignment of experts based on the topic ». Le routeur suit plutôt la syntaxe que le sujet, et des tokens qui se suivent tombent souvent chez les mêmes experts.

Conséquence pratique : on ne peut pas « garder seulement l'expert finance » pour alléger un MoE. Tous les experts servent à tous les sujets.

D'où vient le mixture of experts ?

L'idée n'est pas neuve. Selon Hugging Face, elle remonte à un article de 1991, « Adaptive Mixture of Local Experts ». En 2017, une équipe de Google, dont Geoffrey Hinton, l'applique aux grands réseaux de langage : des milliers d'experts, un routeur appris, et selon les auteurs « greater than 1000x improvements in model capacity with only minor losses in computational efficiency », soit une capacité multipliée par plus de mille pour un surcoût de calcul minime.

En 2021, Google montre avec les Switch Transformers qu'un MoE apprend jusqu'à 7 fois plus vite qu'un modèle dense, à puissance de calcul égale. Puis la start-up française Mistral AI publie Mixtral 8x7B en open weights, sous licence Apache 2.0. Avec 13 milliards de paramètres actifs, il égale ou dépasse Llama 2 70B et GPT-3.5 sur tous les tests évalués.

La bascule vient de Chine. Fin 2024, DeepSeek publie V3, un MoE de 671 milliards de paramètres dont 37 milliards actifs, comparable aux meilleurs modèles fermés selon son rapport technique, entraîné en 2,788 millions d'heures de GPU H800. En janvier 2025, R1, un modèle de raisonnement construit sur la même base, fait chuter Nvidia en Bourse. Mixtral a ouvert la voie, DeepSeek a fait basculer le marché : depuis, les grands éditeurs de modèles ouverts publient leurs modèles phares en MoE.

Dense vs MoE : qu'est-ce que ça change concrètement ?

Les deux architectures font le même métier. Elles ne coûtent pas la même chose, ni au même endroit.

La mémoire : un MoE garde tous ses experts chargés

Le routeur peut appeler n'importe quel expert au token suivant : tous doivent donc rester en mémoire. Hugging Face le dit sans détour : « all parameters need to be loaded in RAM, so memory requirements are high ». Un MoE qui calcule comme un modèle de 3 milliards de paramètres occupe la mémoire d'un modèle de 35 milliards.

D'après l'API de Hugging Face, les poids en BF16 pèsent :

Pour une entreprise qui héberge elle-même son modèle, c'est souvent la mémoire des GPU, plus que leur puissance de calcul, qui fixe la limite. Et cette mémoire coûte de plus en plus cher. Les prix contractuels de la DRAM ont presque doublé en un trimestre au début de 2026, selon TrendForce. La RTX PRO 6000 de NVIDIA, une carte graphique de 96 Go, est passée de 8 565 $ à 16 000 $ entre mars 2025 et août 2026, une hausse que Tom's Hardware relie à la flambée de la mémoire. Chaque gigaoctet qu'un MoE garde pour ses experts inactifs se paie. L'astuce qui consiste à laisser une partie des experts dans la mémoire vive de la machine, plutôt que sur la carte graphique, coûte elle aussi plus cher : c'est précisément cette DRAM dont le prix a flambé. Notre article sur les LLM on premise détaille comment calculer la mémoire nécessaire.

La vitesse : le MoE répond plus vite

Comme il calcule moins pour chaque token, un MoE génère plus vite. Sur une même carte graphique grand public, un développeur a mesuré 31 tokens par seconde pour Qwen 3.6 27B (dense) et 98 pour Qwen 3.6 35B-A3B (MoE), avec des quantifications un peu différentes. Chez Alibaba, Artificial Analysis mesure 55 tokens par seconde pour le dense et 107 pour le MoE. Pour un utilisateur qui attend une réponse à l'écran, l'écart se voit.

La qualité : à taille voisine, le dense répond souvent mieux

La vitesse a une contrepartie. À mémoire voisine, le dense fait travailler davantage de paramètres pour chaque token, et cela se lit dans les résultats. Selon les chiffres publiés par Qwen, Qwen 3.6 27B obtient 77,2 sur SWE-bench Verified, contre 73,4 pour Qwen 3.6 35B-A3B, un test où le modèle doit corriger de vrais bugs logiciels. Le même tableau montre l'inverse à très grande échelle : le MoE de 397 milliards de paramètres garde l'avantage sur les questions de connaissances générales, qui se stockent dans les paramètres.

Le MoE répond plus vite, le dense répond mieux à taille voisine : le bon choix dépend de la tâche. Un assistant de code qu'un développeur utilise toute la journée gagne à la vitesse. Un agent qui enchaîne des étapes sans personne pour attendre gagne à la justesse.

La personnalisation : le dense s'affine plus facilement

Hugging Face note que les MoE ont longtemps eu du mal à se généraliser après un fine-tuning, avec un risque de surapprentissage. Un dense de taille moyenne s'adapte à un vocabulaire métier avec un adaptateur LoRA, qui n'entraîne qu'une petite partie des poids. La communauté a d'ailleurs publié des centaines de versions affinées de Qwen 3.8 27B.

Pourquoi presque tous les grands modèles sont-ils des MoE ?

Pour les éditeurs et les fournisseurs d'inférence, le calcul pèse plus que la mémoire. Entraîner un grand modèle coûte très cher, et un MoE apprend plus vite à puissance égale. Le servir coûte du calcul à chaque token, et un MoE en demande moins. Un fournisseur qui sert des milliers d'utilisateurs sur des serveurs de huit GPU a la mémoire nécessaire : pour lui, le MoE est le choix le plus économique.

Cela se lit dans les prix. Chez Mistral, selon Artificial Analysis, Mistral Small 4, un MoE de 119 milliards de paramètres dont 6,5 milliards actifs, coûte 0,15 $ par million de tokens en entrée et 0,60 $ en sortie. Mistral Medium 3.5, un dense de 128 milliards de paramètres, coûte 1,50 $ et 7,50 $, au moins dix fois plus pour une taille comparable. Le prix au token suit d'abord les paramètres actifs, pas la taille totale.

Nous ne croyons pas pour autant à la fin du dense. Tant que des entreprises voudront faire tourner un bon modèle sur une seule carte graphique, dans leurs murs ou chez un hébergeur européen, il y aura de la place pour des modèles comme Qwen 3.8 27B ou Gemma 4 31B.

Ce qu'une DSI peut en retenir

Si vous passez par une API, l'architecture du modèle n'est pas votre problème. Le fournisseur a déjà fait le calcul, et il vous le facture au token. Comparez le prix et la qualité sur vos propres questions, en gardant en tête qu'un modèle qui réfléchit longtemps produit plus de tokens qu'un autre.

Si vous hébergez le modèle vous-même, partez de la mémoire dont vous disposez. Sur une seule carte de 24 à 80 Go, un dense de 24 à 32 milliards de paramètres est souvent le meilleur rapport qualité par gigaoctet : Qwen 3.8 27B tient en 4 bits dans une carte de 24 Go selon Runpod. Avec un serveur de plusieurs GPU et beaucoup d'utilisateurs, un MoE servira plus vite et à moindre coût. Les différentes façons de faire tourner un modèle, de l'API au serveur maison, sont comparées dans notre article sur l'inférence IA en entreprise.

Chez ATG, c'est un dense, Qwen 3.8 27B, qui rédige les réponses aux messages de nos utilisateurs. C'est aussi le modèle de notre benchmark FinanceBench. Enfin, un rappel qui vaut pour les deux architectures : pour une tâche qu'un algorithme sait faire (un calcul, un tri, une règle métier), n'utilisez pas de modèle du tout, c'est plus fiable, moins cher et plus sobre.

Questions fréquentes sur le mixture of experts

Quelle est la différence entre un modèle dense et un modèle MoE ?

Un modèle dense utilise tous ses paramètres pour chaque token produit. Un modèle MoE (mixture of experts, ou mélange d'experts) n'en active qu'une partie, quelques experts choisis par un routeur. Le MoE calcule moins, donc il va plus vite et coûte moins cher au token, mais il doit garder tous ses paramètres en mémoire. Le dense demande moins de mémoire pour un niveau de qualité donné et se personnalise plus facilement.

Que veut dire « A3B » dans le nom d'un modèle ?

« A3B » signifie « 3 billion active », soit 3 milliards de paramètres actifs pour chaque token. Dans « Qwen 3.6 35B-A3B », le premier chiffre donne la taille totale du modèle (35 milliards de paramètres) et le second la part qui travaille réellement à chaque token. Ce double chiffre signale un mixture of experts.

Un modèle MoE est-il plus intelligent qu'un modèle dense ?

Pas par nature. À taille totale égale, un MoE calcule moins et répond plus vite, mais un dense de taille voisine obtient souvent de meilleurs résultats : Qwen 3.6 27B (dense) dépasse Qwen 3.6 35B-A3B (MoE) sur SWE-bench Verified selon Qwen. Les meilleurs modèles ouverts sont des MoE parce qu'ils sont beaucoup plus gros, ce que leur architecture rend abordable.

Un MoE consomme-t-il moins de mémoire qu'un modèle dense ?

Non. Un MoE doit garder tous ses experts en mémoire, même ceux qui ne travaillent pas sur le token en cours. Qwen 3.6 35B-A3B pèse 71,9 Go en BF16, plus que le dense Qwen 3.8 27B (55,6 Go), alors qu'il n'active que 3 milliards de paramètres par token. Le MoE économise du calcul, pas de la mémoire.

Mixtral est-il un modèle MoE ?

Oui. Mixtral 8x7B, publié par la start-up française Mistral AI sous licence Apache 2.0, est un mixture of experts. Il compte huit experts par couche, dont deux sont choisis pour chaque token : 47 milliards de paramètres au total, 13 milliards actifs.

---

Le dense et le MoE répondent à deux contraintes différentes : la mémoire pour qui héberge son modèle, le calcul pour qui le sert à des milliers d'utilisateurs. Avant de choisir un modèle, demandez-vous laquelle des deux vous limite.