Mixture of experts (MoE) o modelo denso: guía sencilla
Mixture of experts (MoE) o modelo denso: cómo funciona cada arquitectura, qué cambia para tus GPU, la velocidad y el precio, y cuál conviene elegir.
El 27 de enero de 2025, Nvidia perdió 589.000 millones de dólares de capitalización en una sola sesión, un récord. El motivo: DeepSeek-R1, un modelo abierto publicado pocos días antes por la china DeepSeek, comparable a o1 de OpenAI en matemáticas, código y razonamiento. Ese modelo es un mixture of experts (MoE, o mezcla de expertos): de sus 671.000 millones de parámetros, solo 37.000 millones trabajan en cada token. Desde entonces, casi todos los grandes modelos de IA abiertos son MoE, desde Qwen 3.8 Max de Alibaba (2,4 billones de parámetros, 95.000 millones activos) hasta Mistral Large 3 (675.000 millones, 41.000 millones activos). Algunos modelos son la excepción y se llaman densos, como Qwen 3.8 27B, que Alibaba presenta como un «deployment-friendly dense model».
Un mixture of experts (MoE) es un LLM, o gran modelo de lenguaje, dividido en subredes, los expertos, entre las que un enrutador reparte el trabajo: para cada token (una palabra o un trozo de palabra), solo despierta a unos pocos. Un modelo denso, en cambio, pone a trabajar todos sus parámetros en cada token. La diferencia parece técnica, pero decide la memoria que hay que comprar, la velocidad que perciben tus usuarios y el precio que pagarás por token.
¿Es preferible un MoE? Depende de tu infraestructura. El MoE ahorra cálculo; el denso ahorra memoria. Si usas una API, es el proveedor quien decide, y a ti solo te queda comparar precio y calidad. Si alojas el modelo en unas pocas GPU, la arquitectura cuenta, y el denso vuelve a ser a menudo la opción adecuada, más aún porque la memoria es cada vez más cara: según TrendForce, los precios contractuales de la DRAM subieron entre un 93 y un 98 % en un solo trimestre a principios de 2026.
¿Qué es un modelo denso?
Un modelo de lenguaje es una red de cálculo enorme, ajustada durante el entrenamiento mediante miles de millones de números: sus parámetros. Lee y escribe el texto en trozos pequeños, los tokens (una palabra corta, una parte de una palabra larga). Para producir cada token, un modelo denso hace pasar el cálculo por todos sus parámetros, sin excepción.
Es la arquitectura histórica de los grandes modelos de lenguaje, y tiene la ventaja de la sencillez: la memoria necesaria y el cálculo por token se deducen directamente del tamaño. Un modelo denso de 27.000 millones de parámetros ocupa 55,6 GB en BF16, el formato de referencia, y pone a trabajar esos 27.000 millones de parámetros en cada token. Su defecto se debe a la misma regla: para hacerlo más capaz hay que agrandarlo, y cada parámetro añadido encarece la producción de cada token.
¿Qué es un mixture of experts (MoE) en IA?
Un MoE sustituye algunas capas de la red por una serie de pequeñas redes paralelas, los expertos, precedidas de un enrutador (router). Para cada token, el enrutador elige los pocos expertos más adecuados e ignora los demás, y después el modelo combina los resultados de los expertos elegidos. Hugging Face lo resume así: el enrutador «determines which tokens are sent to which expert». Durante el entrenamiento, una penalización incita al enrutador a repartir el trabajo de forma equitativa, para que ningún experto quede sin usar.
El nombre de un LLM MoE suele llevar dos cifras. Qwen 3.6 35B-A3B tiene 35.000 millones de parámetros en total, de los cuales 3.000 millones están activos (la «A» de «A3B») en cada token. Mixtral 8x7B, de Mistral AI, tiene ocho expertos por capa, de los que se eligen dos para cada token: 47.000 millones de parámetros en total, 13.000 millones activos. Los modelos recientes llevan la división mucho más lejos: Qwen 3.8 Flash-Next tiene 512, de los que el enrutador elige 10, más un experto «compartido» que trabaja siempre.
Un experto no es un especialista en derecho o en finanzas
La palabra «experto» engaña. Uno imagina un experto jurídico, un experto en código, un experto en medicina. No es lo que ocurre. Los expertos se reparten el trabajo por sí mismos durante el entrenamiento, sin que nadie les asigne un tema. Cuando el equipo de Mistral observó qué expertos de Mixtral se activaban con artículos científicos, de biología o de filosofía, escribió: «we do not observe obvious patterns in the assignment of experts based on the topic». El enrutador sigue más la sintaxis que el tema, y los tokens consecutivos suelen ir a parar a los mismos expertos.
Consecuencia práctica: no se puede «quedarse solo con el experto en finanzas» para aligerar un MoE. Todos los expertos sirven para todos los temas.
¿De dónde viene el mixture of experts?
La idea no es nueva. Según Hugging Face, se remonta a un artículo de 1991, «Adaptive Mixture of Local Experts». En 2017, un equipo de Google, con Geoffrey Hinton entre sus miembros, la aplica a las grandes redes de lenguaje: miles de expertos, un enrutador aprendido y, según los autores, «greater than 1000x improvements in model capacity with only minor losses in computational efficiency», es decir, una capacidad multiplicada por más de mil con un sobrecoste de cálculo mínimo.
En 2021, Google demuestra con los Switch Transformers que un MoE aprende hasta 7 veces más rápido que un modelo denso, con la misma potencia de cálculo. Después, la start-up francesa Mistral AI publica Mixtral 8x7B en open weights, con licencia Apache 2.0. Con 13.000 millones de parámetros activos, iguala o supera a Llama 2 70B y GPT-3.5 en todas las pruebas evaluadas.
El vuelco llega desde China. A finales de 2024, DeepSeek publica V3, un MoE de 671.000 millones de parámetros, 37.000 millones de ellos activos, comparable a los mejores modelos cerrados según su informe técnico, entrenado en 2,788 millones de horas de GPU H800. En enero de 2025, R1, un modelo de razonamiento construido sobre la misma base, hunde a Nvidia en bolsa. Mixtral abrió el camino, DeepSeek hizo cambiar el mercado: desde entonces, los grandes editores de modelos abiertos publican sus modelos estrella como MoE.
Denso vs MoE: ¿qué cambia en la práctica?
Las dos arquitecturas hacen el mismo trabajo. No cuestan lo mismo, ni en el mismo sitio.
| Modelo denso | Mixture of experts (MoE) | |
|---|---|---|
| Parámetros usados por token | Todos | Solo algunos expertos |
| Memoria necesaria | Proporcional al tamaño | Proporcional al tamaño total, expertos inactivos incluidos |
| Cálculo por token | Elevado | Bajo, proporcional a los parámetros activos |
| Velocidad para un usuario | Más lenta | Más rápida |
| Personalización (fine-tuning) | Sencilla | Más delicada |
| Ejemplos recientes | Qwen 3.8 27B, Gemma 4 31B, Mistral Medium 3.5 | Qwen 3.8 Max, Mistral Small 4 y Large 3, DeepSeek V4, gpt-oss |
La memoria: un MoE mantiene cargados todos sus expertos
El enrutador puede llamar a cualquier experto en el token siguiente: todos deben, por tanto, permanecer en memoria. Hugging Face lo dice sin rodeos: «all parameters need to be loaded in RAM, so memory requirements are high». Un MoE que calcula como un modelo de 3.000 millones de parámetros ocupa la memoria de un modelo de 35.000 millones.
Según la API de Hugging Face, los pesos en BF16 ocupan:
| Modelo | Arquitectura | Pesos en BF16 |
|---|---|---|
| Qwen 3.8 27B | denso, 27B | 55,6 GB |
| Qwen 3.6 35B-A3B | MoE, 3B activos | 71,9 GB |
| Qwen 3.5 397B-A17B | MoE, 17B activos | 806,8 GB |
Para una empresa que aloja ella misma su modelo, suele ser la memoria de las GPU, más que su potencia de cálculo, lo que marca el límite. Y esa memoria es cada vez más cara. Los precios contractuales de la DRAM casi se duplicaron en un trimestre a principios de 2026, según TrendForce. La RTX PRO 6000 de NVIDIA, una tarjeta gráfica de 96 GB, pasó de 8.565 $ a 16.000 $ entre marzo de 2025 y agosto de 2026, una subida que Tom's Hardware relaciona con la escalada de la memoria. Cada gigabyte que un MoE reserva para sus expertos inactivos se paga. El truco de dejar una parte de los expertos en la memoria RAM del equipo, en lugar de en la tarjeta gráfica, también sale más caro: es precisamente esa DRAM la que se ha disparado. Nuestro artículo sobre los LLM on premise detalla cómo calcular la memoria necesaria.
La velocidad: el MoE responde más rápido
Como calcula menos para cada token, un MoE genera más rápido. En una misma tarjeta gráfica de consumo, un desarrollador midió 31 tokens por segundo para Qwen 3.6 27B (denso) y 98 para Qwen 3.6 35B-A3B (MoE), con cuantizaciones algo distintas. En la infraestructura de Alibaba, Artificial Analysis mide 55 tokens por segundo para el denso y 107 para el MoE. Para un usuario que espera una respuesta en pantalla, la diferencia se nota.
La calidad: a tamaño similar, el denso suele responder mejor
La velocidad tiene una contrapartida. Con una memoria similar, el denso pone a trabajar más parámetros en cada token, y eso se refleja en los resultados. Según las cifras publicadas por Qwen, Qwen 3.6 27B obtiene 77,2 en SWE-bench Verified, frente a 73,4 de Qwen 3.6 35B-A3B, una prueba en la que el modelo debe corregir errores de software reales. La misma tabla muestra lo contrario a muy gran escala: el MoE de 397.000 millones de parámetros conserva la ventaja en las preguntas de cultura general, que se almacenan en los parámetros.
El MoE responde más rápido; el denso responde mejor a tamaño similar: la elección adecuada depende de la tarea. Un asistente de código que un desarrollador usa todo el día gana con la velocidad. Un agente que encadena pasos sin nadie esperando gana con la precisión.
La personalización: el denso se ajusta con más facilidad
Hugging Face señala que a los MoE les ha costado mucho tiempo generalizar después de un fine-tuning, con riesgo de sobreajuste. Un denso de tamaño medio se adapta a un vocabulario profesional con un adaptador LoRA, que solo entrena una pequeña parte de los pesos. La comunidad ha publicado, de hecho, cientos de versiones ajustadas de Qwen 3.8 27B.
¿Por qué casi todos los grandes modelos son MoE?
Para los editores y los proveedores de inferencia, el cálculo pesa más que la memoria. Entrenar un gran modelo es muy caro, y un MoE aprende más rápido con la misma potencia. Servirlo cuesta cálculo en cada token, y un MoE necesita menos. Un proveedor que atiende a miles de usuarios en servidores de ocho GPU dispone de la memoria necesaria: para él, el MoE es la opción más económica.
Se ve en los precios. En Mistral, según Artificial Analysis, Mistral Small 4, un MoE de 119.000 millones de parámetros con 6.500 millones activos, cuesta 0,15 $ por millón de tokens de entrada y 0,60 $ de salida. Mistral Medium 3.5, un denso de 128.000 millones de parámetros, cuesta 1,50 $ y 7,50 $, al menos diez veces más para un tamaño comparable. El precio por token sigue ante todo a los parámetros activos, no al tamaño total.
Aun así, no creemos en el fin del modelo denso. Mientras haya empresas que quieran ejecutar un buen modelo en una sola tarjeta gráfica, en sus instalaciones o en un proveedor de alojamiento europeo, habrá sitio para modelos como Qwen 3.8 27B o Gemma 4 31B.
Lo que un departamento de sistemas puede sacar en claro
Si usas una API, la arquitectura del modelo no es tu problema. El proveedor ya ha hecho el cálculo y te lo factura por token. Lo útil es comparar precio y calidad con tus propias preguntas, teniendo en cuenta que un modelo que razona mucho tiempo produce más tokens que otro.
Si alojas el modelo tú mismo, el punto de partida es la memoria de la que dispones. En una sola tarjeta de 24 a 80 GB, un denso de 24.000 a 32.000 millones de parámetros suele ofrecer la mejor relación calidad por gigabyte: Qwen 3.8 27B cabe en 4 bits en una tarjeta de 24 GB según Runpod. Con un servidor de varias GPU y muchos usuarios, un MoE servirá más rápido y a menor coste. Las distintas formas de ejecutar un modelo, de la API al servidor propio, se comparan en nuestro artículo sobre la inferencia de IA en la empresa.
En ATG, es un denso, Qwen 3.8 27B, el que redacta las respuestas a los mensajes de nuestros usuarios. Es también el modelo de nuestro benchmark FinanceBench. Por último, un recordatorio que vale para las dos arquitecturas: para una tarea que un algoritmo sabe hacer (un cálculo, una ordenación, una regla de negocio), lo mejor es no usar ningún modelo, porque resulta más fiable, más barato y más sobrio.
Preguntas frecuentes
¿Cuál es la diferencia entre un modelo denso y un modelo MoE?
Un modelo denso usa todos sus parámetros para cada token que produce. Un modelo MoE (mixture of experts, o mezcla de expertos) solo activa una parte, unos pocos expertos elegidos por un enrutador. El MoE calcula menos, por lo que va más rápido y cuesta menos por token, pero debe mantener todos sus parámetros en memoria. El denso necesita menos memoria para un nivel de calidad dado y se personaliza con más facilidad.
¿Qué significa «A3B» en el nombre de un modelo?
«A3B» significa «3 billion active», es decir, 3.000 millones de parámetros activos en cada token (el «billion» inglés equivale a mil millones). En «Qwen 3.6 35B-A3B», la primera cifra indica el tamaño total del modelo (35.000 millones de parámetros) y la segunda, la parte que trabaja realmente en cada token. Esta doble cifra indica un mixture of experts.
¿Un modelo MoE es más inteligente que un modelo denso?
No por naturaleza. A igual tamaño total, un MoE calcula menos y responde más rápido, pero un denso de tamaño similar suele obtener mejores resultados: Qwen 3.6 27B (denso) supera a Qwen 3.6 35B-A3B (MoE) en SWE-bench Verified según Qwen. Los mejores modelos abiertos son MoE porque son mucho más grandes, algo que su arquitectura hace asequible.
¿Un MoE consume menos memoria que un modelo denso?
No. Un MoE debe mantener todos sus expertos en memoria, incluso los que no trabajan en el token en curso. Qwen 3.6 35B-A3B ocupa 71,9 GB en BF16, más que el denso Qwen 3.8 27B (55,6 GB), aunque solo activa 3.000 millones de parámetros por token. El MoE ahorra cálculo, no memoria.
¿Mixtral es un modelo MoE?
Sí. Mixtral 8x7B, publicado por la start-up francesa Mistral AI con licencia Apache 2.0, es un mixture of experts. Tiene ocho expertos por capa, de los que se eligen dos para cada token: 47.000 millones de parámetros en total, 13.000 millones activos.
El denso y el MoE responden a dos limitaciones distintas: la memoria para quien aloja su modelo, el cálculo para quien lo sirve a miles de usuarios. Antes de elegir un modelo, conviene preguntarse cuál de las dos es la que te limita.



