Glossar · AIZuletzt aktualisiert: 3. Juni 2026

Was ist Quantization?

Es handelt sich um einen Größenreduzierungsprozess, um Modelle der künstlichen Intelligenz leichter und schneller zu machen.

Definition

Quantisierung ist der Prozess der Reduzierung der Größe numerischer Daten in riesigen Modellen der künstlichen Intelligenz durch Verringerung ihrer Präzision. Auf diese Weise können Modelle auf Geräten mit geringerer Ausstattung ausgeführt werden, die deutlich weniger Speicher verbrauchen.

Analogie: Es ähnelt dem Komprimieren eines Fotos mit sehr hoher Auflösung, um die Dateigröße zu reduzieren, ohne die Bildqualität merklich zu beeinträchtigen. Sie gewinnen an Geschwindigkeit, indem Sie auf einige Details verzichten.

So funktioniert es

Die Gewichte im Modell sind im Allgemeinen hochpräzise Dezimalzahlen. Die Quantisierung rundet diese auf einfachere ganze Zahlen. Dieser Prozess reduziert den Platzbedarf des Modells erheblich und verursacht gleichzeitig einen sehr geringen Verlust an Intelligenz.

Wo es eingesetzt wird

Es wird verwendet, um große Modelle auf Mobiltelefonen oder PCs auszuführen (Selbsthosting).

Häufig verwechselt mit

Es wird mit dem Training des Modells verwechselt, es handelt sich jedoch um einen Optimierungsprozess, der nach dem Training durchgeführt wird.

Häufige Fragen

Nimmt die Intelligenz des Modells ab?

Es sinkt nur sehr wenig, aber der Geschwindigkeits- und Effizienzgewinn lohnt sich in der Regel.

Kann jedes Modell quantisiert werden?

Ja, es kann auf fast allen wichtigen Sprachmodellen implementiert werden.