Künstliche IntelligenzZuletzt aktualisiert: 4. November 2026

Was ist Mixture of Experts - MoE?

Mixture of Experts

Eine Methode, bei der ein großes KI-Modell in kleinere Teile aufgeteilt wird, die jeweils auf unterschiedliche Themen spezialisiert sind, und nur die jeweils erforderlichen Teile ausgeführt werden.

Definition

Anstatt ein gewaltiges KI-Modell als Ganzes auszuführen, unterteilt der MoE-Ansatz es in spezialisierte Untermodelle. Wenn eine Frage gestellt wird, wählt ein Router-Mechanismus den geeignetsten Experten aus, und nur dieser Teil wird ausgeführt. Auf diese Weise antwortet das Modell viel schneller und verbraucht gleichzeitig weniger Energie.

Analogie: Ähnlich wie in einem großen Krankenhaus, in dem nicht jeder Arzt jeden Patienten behandelt, sondern eine Rezeption den Patienten direkt zum entsprechenden Facharzt, zum Beispiel für Augen oder Herz, schickt.

So funktioniert es

Wenn die Eingabedaten am Eingang des Modells ankommen, tritt ein Gating-Mechanismus in Kraft, der entscheidet, welches Expertennetzwerk die Aufgabe übernimmt. Nur die ausgewählten Experten-Neuroneppgruppen werden aktiviert und die Verarbeitung wird abgeschlossen. So wird eine hohe Leistung erzielt, ohne die Energie des gesamten Modells zu verbrauchen.

Wo es eingesetzt wird

Es wird häufig in den fortschrittlichsten Open-Weight-Large-Language-Modellen von heute und in großen KI-Systemen verwendet, die eine hohe Effizienz erfordern.

Häufig verwechselt mit

Es wird oft mit klassischen monolithischen Riesenmodellen verwechselt. Während bei klassischen Modellen das gesamte Netzwerk für jedes Wort arbeitet, arbeiten in MoE-Systemen nur die jeweiligen Experten.

Fragen und Antworten

Warum sind Mixture-of-Experts-Modelle schneller?

Weil bei jedem Vorgang nicht das gesamte Modell, sondern nur eine kleine Expertengruppe arbeitet, wodurch der aufgewendete Rechenaufwand und die Zeit erheblich reduziert werden.

Geht das zu Lasten der Qualität?

Im Gegenteil, da die richtigen Experten ausgewählt werden, bietet es eine Kapazität, die mit gigantischen monolithischen Modellen konkurrieren oder diese sogar übertreffen kann.