# Was ist Distillation?

Dabei handelt es sich um den Prozess der Übertragung der Informationen eines großen und komplexen Modells der künstlichen Intelligenz auf ein kleineres Modell.

## Definition
Bei der Destillation werden die Informationen eines sehr großen und komplexen Modells der künstlichen Intelligenz auf ein kleineres und effizienteres Modell übertragen. Mit dieser Methode können wir bei geringerem Ressourcenaufwand Ergebnisse erzielen, die der Leistung von Riesenmodellen nahekommen.

## So funktioniert es
Das größere Modell fungiert als Lehrer und überprüft die Vorhersagen des kleineren Modells. Mit der Zeit wird das kleine Modell zum eigenständigen Experten und lernt, Ergebnisse zu erzielen, die den Antworten des Lehrers ähneln.

## Wo es eingesetzt wird
Es wird bevorzugt, schnelle und effektive Ergebnisse an Orten zu erzielen, an denen große Modelle nicht passen, wie etwa Smartphones oder Low-End-Geräte.

## Häufig verwechselt mit
Es wird mit Quantisierung verwechselt; Doch während die Quantisierung die Gewichte des Modells komprimiert, beinhaltet die Destillation das Training eines völlig neuen, kleineren Modells.

## Häufige Fragen
**Wird das kleinere Modell genauso erfolgreich sein wie das größere Modell?**
Normalerweise kommt es zu einem gewissen Leistungsverlust, aber der Geschwindigkeits- und Kostenvorteil gleicht diesen Verlust aus.

**Kann jedes Modell destilliert werden?**
Ja, aber die Unterbringung des Wissens über komplexe Modelle in einer kleinen Struktur erfordert einen sehr schwierigen Trainingsprozess.


## Verwandte Begriffe
- [SLM](/de/dictionary/slm/)
- [Quantization](/de/dictionary/quantization/)
- [Foundation Model](/de/dictionary/foundation-model/)

---
Quelle: TreScout Glossar · https://trescout.com/de/dictionary/distillation/