# Was ist Quantization?

Es handelt sich um einen Größenreduzierungsprozess, um Modelle der künstlichen Intelligenz leichter und schneller zu machen.

## Definition
Quantisierung ist der Prozess der Reduzierung der Größe numerischer Daten in riesigen Modellen der künstlichen Intelligenz durch Verringerung ihrer Präzision. Auf diese Weise können Modelle auf Geräten mit geringerer Ausstattung ausgeführt werden, die deutlich weniger Speicher verbrauchen.

## So funktioniert es
Die Gewichte im Modell sind im Allgemeinen hochpräzise Dezimalzahlen. Die Quantisierung rundet diese auf einfachere ganze Zahlen. Dieser Prozess reduziert den Platzbedarf des Modells erheblich und verursacht gleichzeitig einen sehr geringen Verlust an Intelligenz.

## Wo es eingesetzt wird
Es wird verwendet, um große Modelle auf Mobiltelefonen oder PCs auszuführen (Selbsthosting).

## Häufig verwechselt mit
Es wird mit dem Training des Modells verwechselt, es handelt sich jedoch um einen Optimierungsprozess, der nach dem Training durchgeführt wird.

## Häufige Fragen
**Nimmt die Intelligenz des Modells ab?**
Es sinkt nur sehr wenig, aber der Geschwindigkeits- und Effizienzgewinn lohnt sich in der Regel.

**Kann jedes Modell quantisiert werden?**
Ja, es kann auf fast allen wichtigen Sprachmodellen implementiert werden.


## Verwandte Begriffe
- [SLM](/de/dictionary/slm/)
- [Open Weights](/de/dictionary/open-weights/)
- [Self-hosting](/de/dictionary/self-hosting/)
- [Inference](/de/dictionary/inference/)

---
Quelle: TreScout Glossar · https://trescout.com/de/dictionary/quantization/