# Was ist Continuous Batching?

Dabei handelt es sich um eine Optimierungsmethode, die es Modellen der künstlichen Intelligenz ermöglicht, eingehende Anfragen kontinuierlich und flüssig zu verarbeiten, ohne zu warten.

## Definition
Normalerweise verarbeiten KI-Modelle Anfragen stapelweise und warten, bis ein Stapel abgeschlossen ist. Die kontinuierliche Gruppierungsmethode ermöglicht es dem System, neue eingehende Anforderungen in den Prozess einzubeziehen, bevor der aktuelle Prozess abgeschlossen ist. Auf diese Weise erhalten Nutzer schneller und ohne Wartezeit Antworten.

## So funktioniert es
Sobald die Verarbeitungskapazität des Modells erschöpft ist, werden neue in der Warteschlange wartende Anforderungen sofort in das System eingespeist. Dadurch wird sichergestellt, dass die Hardware-Ressourcen jederzeit mit voller Effizienz arbeiten.

## Wo es eingesetzt wird
Es wird im Hintergrund von Chatbots wie ChatGPT und in stark frequentierten Diensten der künstlichen Intelligenz eingesetzt.

## Häufig verwechselt mit
Es kann sein, dass man es nur mit der Verarbeitungsgeschwindigkeit verwechselt, aber bei dieser Methode geht es speziell um Effizienz.

## Häufige Fragen
**Warum ist es wichtig?**
Es verkürzt die Wartezeit der Benutzer und senkt die Serverkosten.

**Ist es für jedes Modell verfügbar?**
Nein, dies ist im Allgemeinen eine Funktion fortschrittlicher Inferenz-Engines.


## Verwandte Begriffe
- [Inference Engine](/de/dictionary/inference-engine/)
- [LLM](/de/dictionary/llm/)
- [Inference](/de/dictionary/inference/)

## Verwandte Werkzeuge
- [Omlx](/de/discover/omlx/)

---
Quelle: TreScout Glossar · https://trescout.com/de/dictionary/continuous-batching/