MoE oder dichtes Modell: Mixture of Experts einfach erklärt
Foto von FotoFlo auf Unsplash

MoE oder dichtes Modell: Mixture of Experts einfach erklärt

Mixture of Experts (MoE) oder dichtes Modell: wie beide Architekturen funktionieren, was sie für GPUs, Tempo und Preis bedeuten und welche passt.

Konzepte
6 Min. Lesezeit

Am 27. Januar 2025 verlor Nvidia an einem einzigen Handelstag 589 Milliarden Dollar Börsenwert, ein Rekord. Auslöser war DeepSeek-R1, ein offenes Modell, das das chinesische Unternehmen DeepSeek wenige Tage zuvor veröffentlicht hatte und das bei Mathematik, Code und logischem Denken mit o1 von OpenAI vergleichbar ist. Dieses Modell ist ein Mixture of Experts (MoE): Von seinen 671 Milliarden Parametern arbeiten nur 37 Milliarden an jedem Token. Seitdem sind fast alle großen offenen KI-Modelle MoE-Modelle, von Qwen 3.8 Max von Alibaba (2.400 Milliarden Parameter, 95 Milliarden aktiv) bis Mistral Large 3 (675 Milliarden, 41 Milliarden aktiv). Einige Modelle bilden die Ausnahme und heißen dicht (Dense), etwa Qwen 3.8 27B, das Alibaba als „deployment-friendly dense model“ präsentiert.

Ein Mixture of Experts (MoE) ist ein LLM, also ein großes Sprachmodell, das in Teilnetze aufgeteilt ist, die Experten, zwischen denen ein Router die Arbeit verteilt: Für jedes Token (ein Wort oder ein Wortteil) weckt er nur einige davon. Ein dichtes Modell dagegen lässt alle seine Parameter an jedem Token arbeiten. Der Unterschied wirkt technisch, entscheidet aber über den Speicher, den man kaufen muss, über die Geschwindigkeit, die Ihre Nutzer spüren, und über den Preis, den Sie pro Token zahlen.

Ist ein MoE vorzuziehen? Das hängt von Ihrer Infrastruktur ab. Das MoE spart Rechenleistung, das dichte Modell spart Speicher. Wenn Sie über eine API gehen, wägt der Anbieter ab, und Sie müssen nur Preis und Qualität vergleichen. Wenn Sie das Modell auf wenigen GPUs hosten, zählt die Architektur, und das dichte Modell wird oft wieder zur richtigen Wahl, zumal Speicher immer teurer wird: Laut TrendForce stiegen die Vertragspreise für DRAM Anfang 2026 in einem einzigen Quartal um 93 bis 98 %.

Was ist ein dichtes Modell?

Ein Sprachmodell ist ein sehr großes Rechennetz, das während des Trainings über Milliarden von Zahlen eingestellt wird: seine Parameter. Es liest und schreibt Text in kleinen Stücken, den Token (ein kurzes Wort, ein Teil eines langen Wortes). Um jedes Token zu erzeugen, schickt ein dichtes Modell die Berechnung ausnahmslos durch alle seine Parameter.

Das ist die historische Architektur großer Sprachmodelle, und sie hat den Vorteil der Einfachheit: Speicherbedarf und Rechenaufwand pro Token ergeben sich direkt aus der Größe. Ein dichtes Modell mit 27 Milliarden Parametern wiegt 55,6 GB in BF16, dem Referenzformat, und lässt diese 27 Milliarden Parameter an jedem Token arbeiten. Seine Schwäche folgt aus derselben Regel: Um es leistungsfähiger zu machen, muss man es vergrößern, und jeder zusätzliche Parameter macht jedes Token teurer.

Was ist ein Mixture of Experts (MoE) in der KI?

Ein MoE ersetzt bestimmte Schichten des Netzes durch eine Reihe kleiner paralleler Netze, die Experten, denen ein Router vorgeschaltet ist. Für jedes Token wählt der Router die wenigen passendsten Experten und ignoriert die übrigen, dann kombiniert das Modell die Ergebnisse der gewählten Experten. Hugging Face fasst es so zusammen: Der Router „determines which tokens are sent to which expert“. Während des Trainings sorgt eine Strafgröße dafür, dass der Router die Arbeit gleichmäßig verteilt, damit kein Experte ungenutzt bleibt.

Der Name eines MoE-LLM trägt oft zwei Zahlen. Qwen 3.6 35B-A3B zählt insgesamt 35 Milliarden Parameter, davon 3 Milliarden aktiv (das „A“ in „A3B“) für jedes Token. Mixtral 8x7B von Mistral AI hat acht Experten pro Schicht, von denen für jedes Token zwei gewählt werden: 47 Milliarden Parameter insgesamt, 13 Milliarden aktiv. Neuere Modelle treiben die Aufteilung viel weiter: Qwen 3.8 Flash-Next hat 512, von denen der Router 10 wählt, dazu einen „geteilten“ Experten, der immer arbeitet.

Ein Experte ist kein Spezialist für Recht oder Finanzen

Das Wort „Experte“ täuscht. Man stellt sich einen Rechtsexperten, einen Code-Experten, einen Medizinexperten vor. So läuft es nicht. Die Experten teilen sich die Arbeit während des Trainings selbst auf, ohne dass ihnen jemand ein Thema zuweist. Als das Team von Mistral untersuchte, welche Experten von Mixtral bei wissenschaftlichen Artikeln, Biologie oder Philosophie aufgerufen wurden, schrieb es: „we do not observe obvious patterns in the assignment of experts based on the topic“. Der Router folgt eher der Syntax als dem Thema, und aufeinanderfolgende Token landen oft bei denselben Experten.

Praktische Folge: Man kann nicht „nur den Finanzexperten behalten“, um ein MoE zu verschlanken. Alle Experten dienen allen Themen.

Woher kommt Mixture of Experts?

Die Idee ist nicht neu. Laut Hugging Face geht sie auf einen Artikel von 1991 zurück, „Adaptive Mixture of Local Experts“. 2017 wendet ein Google-Team, darunter Geoffrey Hinton, sie auf große Sprachnetze an: Tausende Experten, ein gelernter Router und laut den Autoren „greater than 1000x improvements in model capacity with only minor losses in computational efficiency“, also eine mehr als tausendfache Kapazität bei minimalem Mehraufwand an Rechenleistung.

2021 zeigt Google mit den Switch Transformers, dass ein MoE bei gleicher Rechenleistung bis zu siebenmal schneller lernt als ein dichtes Modell. Dann veröffentlicht das französische Start-up Mistral AI Mixtral 8x7B als Open Weights, unter der Lizenz Apache 2.0. Mit 13 Milliarden aktiven Parametern erreicht oder übertrifft es Llama 2 70B und GPT-3.5 in allen ausgewerteten Tests.

Der Umschwung kommt aus China. Ende 2024 veröffentlicht DeepSeek V3, ein MoE mit 671 Milliarden Parametern, davon 37 Milliarden aktiv, laut technischem Bericht mit den besten geschlossenen Modellen vergleichbar, trainiert in 2,788 Millionen H800-GPU-Stunden. Im Januar 2025 lässt R1, ein Reasoning-Modell auf derselben Basis, die Nvidia-Aktie abstürzen. Mixtral hat den Weg bereitet, DeepSeek hat den Markt kippen lassen: Seitdem veröffentlichen die großen Anbieter offener Modelle ihre Flaggschiffe als MoE.

Dense vs. MoE: Was ändert sich konkret?

Beide Architekturen erledigen dieselbe Arbeit. Sie kosten aber nicht dasselbe, und nicht an derselben Stelle.

Dichtes ModellMixture of Experts (MoE)
Pro Token genutzte ParameterAlleNur einige Experten
SpeicherbedarfProportional zur GrößeProportional zur Gesamtgröße, inaktive Experten eingeschlossen
Rechenaufwand pro TokenHochGering, proportional zu den aktiven Parametern
Geschwindigkeit für einen NutzerLangsamerSchneller
Anpassung (Fine-Tuning)EinfachHeikler
Aktuelle BeispieleQwen 3.8 27B, Gemma 4 31B, Mistral Medium 3.5Qwen 3.8 Max, Mistral Small 4 und Large 3, DeepSeek V4, gpt-oss

Speicher: Ein MoE hält alle Experten geladen

Der Router kann beim nächsten Token jeden beliebigen Experten aufrufen: Alle müssen also im Speicher bleiben. Hugging Face sagt es ohne Umschweife: „all parameters need to be loaded in RAM, so memory requirements are high“. Ein MoE, das wie ein Modell mit 3 Milliarden Parametern rechnet, belegt den Speicher eines Modells mit 35 Milliarden.

Laut der API von Hugging Face wiegen die Gewichte in BF16:

ModellArchitekturGewichte in BF16
Qwen 3.8 27Bdicht, 27B55,6 GB
Qwen 3.6 35B-A3BMoE, 3B aktiv71,9 GB
Qwen 3.5 397B-A17BMoE, 17B aktiv806,8 GB

Für ein Unternehmen, das sein Modell selbst hostet, setzt oft der GPU-Speicher die Grenze, mehr als die Rechenleistung. Und dieser Speicher wird immer teurer. Die Vertragspreise für DRAM haben sich Anfang 2026 in einem Quartal fast verdoppelt, so TrendForce. Die RTX PRO 6000 von NVIDIA, eine Grafikkarte mit 96 GB, stieg zwischen März 2025 und August 2026 von 8.565 $ auf 16.000 $, ein Anstieg, den Tom's Hardware mit der Preisexplosion beim Speicher verbindet. Jedes Gigabyte, das ein MoE für seine inaktiven Experten belegt, kostet Geld. Der Kniff, einen Teil der Experten im Arbeitsspeicher des Rechners zu lassen statt auf der Grafikkarte, wird ebenfalls teurer: Genau dieser DRAM ist im Preis explodiert. Unser Artikel über LLM on premise beschreibt, wie man den Speicherbedarf berechnet.

Geschwindigkeit: Das MoE antwortet schneller

Weil es pro Token weniger rechnet, generiert ein MoE schneller. Auf derselben Consumer-Grafikkarte hat ein Entwickler 31 Token pro Sekunde für Qwen 3.6 27B (dicht) und 98 für Qwen 3.6 35B-A3B (MoE) gemessen, mit leicht unterschiedlichen Quantisierungen. Bei Alibaba misst Artificial Analysis 55 Token pro Sekunde für das dichte Modell und 107 für das MoE. Für einen Nutzer, der am Bildschirm auf eine Antwort wartet, ist der Unterschied sichtbar.

Qualität: Bei ähnlicher Größe antwortet das dichte Modell oft besser

Die Geschwindigkeit hat ihren Preis. Bei ähnlichem Speicherbedarf lässt das dichte Modell für jedes Token mehr Parameter arbeiten, und das zeigt sich in den Ergebnissen. Nach den von Qwen veröffentlichten Zahlen erreicht Qwen 3.6 27B 77,2 bei SWE-bench Verified, gegenüber 73,4 für Qwen 3.6 35B-A3B, einem Test, bei dem das Modell echte Softwarefehler beheben muss. Dieselbe Tabelle zeigt im ganz großen Maßstab das Gegenteil: Das MoE mit 397 Milliarden Parametern behält bei Fragen zum Allgemeinwissen, das in den Parametern gespeichert ist, die Oberhand.

Das MoE antwortet schneller, das dichte Modell antwortet bei ähnlicher Größe besser: Die richtige Wahl hängt von der Aufgabe ab. Ein Coding-Assistent, den ein Entwickler den ganzen Tag nutzt, profitiert von Geschwindigkeit. Ein Agent, der Schritte aneinanderreiht, ohne dass jemand wartet, profitiert von Genauigkeit.

Anpassung: Das dichte Modell lässt sich leichter feinabstimmen

Hugging Face merkt an, dass MoE-Modelle sich nach einem Fine-Tuning lange schwer taten zu generalisieren, mit einem Risiko der Überanpassung. Ein mittelgroßes dichtes Modell lässt sich mit einem LoRA-Adapter, der nur einen kleinen Teil der Gewichte trainiert, an ein Fachvokabular anpassen. Die Community hat übrigens Hunderte feinabgestimmte Versionen von Qwen 3.8 27B veröffentlicht.

Warum sind fast alle großen Modelle MoE-Modelle?

Für Modellanbieter und Inferenzanbieter wiegt die Rechenleistung schwerer als der Speicher. Ein großes Modell zu trainieren, ist sehr teuer, und ein MoE lernt bei gleicher Rechenleistung schneller. Es zu betreiben, kostet bei jedem Token Rechenleistung, und ein MoE braucht weniger davon. Ein Anbieter, der Tausende Nutzer auf Servern mit acht GPUs bedient, hat den nötigen Speicher: Für ihn ist das MoE die wirtschaftlichste Wahl.

Das zeigt sich in den Preisen. Bei Mistral kostet laut Artificial Analysis Mistral Small 4, ein MoE mit 119 Milliarden Parametern, davon 6,5 Milliarden aktiv, 0,15 $ pro Million Token Eingabe und 0,60 $ Ausgabe. Mistral Medium 3.5, ein dichtes Modell mit 128 Milliarden Parametern, kostet 1,50 $ und 7,50 $, mindestens zehnmal mehr bei vergleichbarer Größe. Der Preis pro Token folgt zuerst den aktiven Parametern, nicht der Gesamtgröße.

An das Ende der dichten Modelle glauben wir deshalb nicht. Solange Unternehmen ein gutes Modell auf einer einzigen Grafikkarte betreiben wollen, im eigenen Haus oder bei einem europäischen Hoster, wird es Platz für Modelle wie Qwen 3.8 27B oder Gemma 4 31B geben.

Was die IT-Abteilung daraus mitnehmen kann

Wenn Sie über eine API gehen, ist die Architektur des Modells nicht Ihr Problem. Der Anbieter hat die Rechnung bereits gemacht und berechnet sie Ihnen pro Token. Vergleichen Sie Preis und Qualität an Ihren eigenen Fragen und behalten Sie im Kopf, dass ein Modell, das lange nachdenkt, mehr Token erzeugt als ein anderes.

Wenn Sie das Modell selbst hosten, gehen Sie vom verfügbaren Speicher aus. Auf einer einzigen Karte mit 24 bis 80 GB bietet ein dichtes Modell mit 24 bis 32 Milliarden Parametern oft das beste Verhältnis von Qualität pro Gigabyte: Qwen 3.8 27B passt in 4 Bit laut Runpod auf eine 24-GB-Karte. Mit einem Server aus mehreren GPUs und vielen Nutzern liefert ein MoE schneller und günstiger. Die verschiedenen Wege, ein Modell zu betreiben, von der API bis zum eigenen Server, vergleicht unser Artikel über KI-Inferenz im Unternehmen.

Bei ATG formuliert ein dichtes Modell, Qwen 3.8 27B, die Antworten auf die Nachrichten unserer Nutzer. Es ist auch das Modell unseres FinanceBench-Benchmarks. Und schließlich eine Erinnerung, die für beide Architekturen gilt: Für eine Aufgabe, die ein Algorithmus lösen kann (eine Berechnung, eine Sortierung, eine Geschäftsregel), verzichten Sie ganz auf ein Modell, das ist zuverlässiger, günstiger und sparsamer.

Häufige Fragen zu Mixture of Experts

Was ist der Unterschied zwischen einem dichten Modell und einem MoE-Modell?

Ein dichtes Modell nutzt alle seine Parameter für jedes erzeugte Token. Ein MoE-Modell (Mixture of Experts) aktiviert nur einen Teil davon, einige von einem Router gewählte Experten. Das MoE rechnet weniger, ist daher schneller und pro Token günstiger, muss aber alle seine Parameter im Speicher halten. Das dichte Modell braucht für ein gegebenes Qualitätsniveau weniger Speicher und lässt sich leichter anpassen.

Was bedeutet „A3B“ im Namen eines Modells?

„A3B“ steht für „3 billion active“, also 3 Milliarden aktive Parameter für jedes Token. In „Qwen 3.6 35B-A3B“ gibt die erste Zahl die Gesamtgröße des Modells an (35 Milliarden Parameter) und die zweite den Anteil, der bei jedem Token tatsächlich arbeitet. Diese doppelte Angabe kennzeichnet ein Mixture of Experts.

Ist ein MoE-Modell intelligenter als ein dichtes Modell?

Nicht von Natur aus. Bei gleicher Gesamtgröße rechnet ein MoE weniger und antwortet schneller, aber ein dichtes Modell ähnlicher Größe erzielt oft bessere Ergebnisse: Qwen 3.6 27B (dicht) übertrifft laut Qwen Qwen 3.6 35B-A3B (MoE) bei SWE-bench Verified. Die besten offenen Modelle sind MoE-Modelle, weil sie viel größer sind, und ihre Architektur macht das bezahlbar.

Braucht ein MoE weniger Speicher als ein dichtes Modell?

Nein. Ein MoE muss alle seine Experten im Speicher halten, auch die, die am aktuellen Token nicht arbeiten. Qwen 3.6 35B-A3B wiegt in BF16 71,9 GB, mehr als das dichte Qwen 3.8 27B (55,6 GB), obwohl es pro Token nur 3 Milliarden Parameter aktiviert. Das MoE spart Rechenleistung, keinen Speicher.

Ist Mixtral ein MoE-Modell?

Ja. Mixtral 8x7B, vom französischen Start-up Mistral AI unter der Lizenz Apache 2.0 veröffentlicht, ist ein Mixture of Experts. Es hat acht Experten pro Schicht, von denen für jedes Token zwei gewählt werden: 47 Milliarden Parameter insgesamt, 13 Milliarden aktiv.


Dichtes Modell und MoE antworten auf zwei unterschiedliche Engpässe: den Speicher für alle, die ihr Modell selbst hosten, die Rechenleistung für alle, die es Tausenden Nutzern bereitstellen. Bevor Sie ein Modell wählen, lohnt die Frage, welcher der beiden Engpässe Sie begrenzt.

Partager :

Ähnliche Artikel

Open-Source-KI im Unternehmen: Lizenzen und echte ErsparnisKonzepte

Open-Source-KI im Unternehmen: Lizenzen und echte Ersparnis

Open-Source-KI im Unternehmen: was jede Lizenz offener Modelle erlaubt, wie viel sie gegenüber APIs spart und warum ihre Regeln strenger werden.

Wähle eine Zahl zwischen 1 und 10: Warum KI 7 sagtKonzepte

Wähle eine Zahl zwischen 1 und 10: Warum KI 7 sagt

Wir haben sieben KI-Modelle 14.000-mal nach einer Zahl zwischen 1 und 10 gefragt. Fünf antworten fast immer 7, bei jeder Temperatur. Woher kommt der Bias?

8 min
KI-Wurm: Anthropics Studie zur Selbstreplikation von KIKonzepte

KI-Wurm: Anthropics Studie zur Selbstreplikation von KI

Kann sich eine KI selbst kopieren? Was Anthropic auf vernetzten Geräten getestet hat, KI-Wurm oder KI-Virus, die Grenzen der Studie und die Folgen.

9 min

Interesse an unseren Lösungen?

Erfahren Sie, wie Ask This Guy Ihre KI-Projekte beschleunigen kann

Demo buchen