Glossar · AIZuletzt aktualisiert: 3. Juni 2026

Was ist Distillation?

Dabei handelt es sich um den Prozess der Übertragung der Informationen eines großen und komplexen Modells der künstlichen Intelligenz auf ein kleineres Modell.

Definition

Bei der Destillation werden die Informationen eines sehr großen und komplexen Modells der künstlichen Intelligenz auf ein kleineres und effizienteres Modell übertragen. Mit dieser Methode können wir bei geringerem Ressourcenaufwand Ergebnisse erzielen, die der Leistung von Riesenmodellen nahekommen.

Analogie: Es ist, als würde ein Professor einem Studenten das Wissen, das er im Laufe der Jahre gesammelt hat, kurz und prägnant zusammenfassen.

So funktioniert es

Das größere Modell fungiert als Lehrer und überprüft die Vorhersagen des kleineren Modells. Mit der Zeit wird das kleine Modell zum eigenständigen Experten und lernt, Ergebnisse zu erzielen, die den Antworten des Lehrers ähneln.

Wo es eingesetzt wird

Es wird bevorzugt, schnelle und effektive Ergebnisse an Orten zu erzielen, an denen große Modelle nicht passen, wie etwa Smartphones oder Low-End-Geräte.

Häufig verwechselt mit

Es wird mit Quantisierung verwechselt; Doch während die Quantisierung die Gewichte des Modells komprimiert, beinhaltet die Destillation das Training eines völlig neuen, kleineren Modells.

Häufige Fragen

Wird das kleinere Modell genauso erfolgreich sein wie das größere Modell?

Normalerweise kommt es zu einem gewissen Leistungsverlust, aber der Geschwindigkeits- und Kostenvorteil gleicht diesen Verlust aus.

Kann jedes Modell destilliert werden?

Ja, aber die Unterbringung des Wissens über komplexe Modelle in einer kleinen Struktur erfordert einen sehr schwierigen Trainingsprozess.