Glossar · AIZuletzt aktualisiert: 3. Juni 2026

Was ist Tokenizer?

Dabei handelt es sich um ein Werkzeug, das Texte in kleine numerische Teile zerlegt, die künstliche Intelligenz verstehen kann.

Definition

Tokenizer ist ein grundlegendes Tool, das Texte in numerische Teile umwandelt, die von der KI verarbeitet werden können. Künstliche Intelligenz versteht Wörter nicht als Ganzes, sondern anhand der numerischen Äquivalente dieser Teile.

Analogie: Es ist so, als würde man eine Codeliste erstellen, indem man ein Buch in einzelne Buchstaben oder Silben aufteilt und jedem eine Zahl gibt, bevor man es liest.

So funktioniert es

Wenn Text eingegeben wird, teilt ihn der Tokenizer in Teile auf, die „Tokens“ genannt werden. Diese Token werden dann in Vektoren umgewandelt, die die KI digital verarbeiten kann.

Wo es eingesetzt wird

Es ist das Tor zu allen wichtigen Sprachmodellen. Sobald Sie mit einem Chatbot sprechen, wird alles, was Sie eingeben, zunächst vom Tokenizer verarbeitet.

Häufig verwechselt mit

Es wird einfach mit dem Wörtertrenner verwechselt; wohingegen der Tokenizer manchmal ein Wort in mehrere Teile und manchmal mehrere Wörter in einen einzigen Token aufteilen kann.

Häufige Fragen

Was ist ein Token?

Es ist die Verarbeitungseinheit des Modells; Es ist normalerweise ein Teil eines Wortes oder ein Satzzeichen.

Warum verwenden wir keine direkten Worte?

Denn die Verarbeitung numerischer Daten ist viel schneller und effizienter als der Umgang mit der komplexen Struktur von Wörtern.