Glossar · AIZuletzt aktualisiert: 3. September 2026

Was ist Inference Server?

Dies ist ein spezielles Serversystem, auf dem KI-Modelle ausgeführt werden, um Antworten auf eingehende Anfragen zu generieren.

Definition

Nachdem ein KI-Modell trainiert wurde, muss es ständig betriebsbereit sein, damit Benutzer Fragen stellen und Antworten erhalten können. Ein Inferenz-Server ist ein leistungsstarkes Computerzentrum, das dieses Modell hostet, eingehende Daten schnell verarbeitet und Ergebnisse zurückgibt. Diese Systeme optimieren die Leistung des Modells und können gleichzeitig vielen Personen dienen.

Analogie: Es ist vergleichbar mit einem Koch (KI-Modell) in einer Küche, der ein Rezept kennt, ständig bereitsteht und eingehende Bestellungen (Fragen) sofort zubereitet und serviert.

So funktioniert es

Das benötigte Modell wird auf diesen Server geladen und so konfiguriert, dass es Anfragen über eine Schnittstelle (API) entgegennimmt. Der Server übersetzt die eingehende Frage in eine für das Modell verständliche Sprache, führt das Modell aus und sendet die generierte Antwort zurück an den Benutzer.

Wo es eingesetzt wird

Er wird auf Cloud-Computing-Plattformen oder in den eigenen Rechenzentren großer Unternehmen im Hintergrund von KI-gestützten Anwendungen eingesetzt.

Häufig verwechselt mit

Es ist nicht nur ein Computer, sondern eine spezielle Infrastruktur, die für den Betrieb des Modells optimiert ist.

Häufige Fragen

Warum reicht ein normaler Computer nicht aus?

KI-Modelle erfordern sehr viel Rechenleistung und Arbeitsspeicher, daher werden Server mit spezieller Hardware benötigt.

Ist das dasselbe wie das Modelltraining?

Nein, das Training ist der Lernprozess des Modells, während die Inferenz (Inference) der Prozess der Anwendung des Gelernten ist.