Engine zum schnellen Ausführen und Bereitstellen von KI-Modellen
vllm-project/vllm ist eine Inferenz- und Bereitstellungsengine für große Sprachmodelle (LLMs), die einen hohen Durchsatz und Speichereffizienz bietet. Dieses in Python entwickelte Tool zielt darauf ab, die Ausführungsprozesse von KI-Modellen zu beschleunigen.
Aktualisierungen
- 21. Oktober 2026: Sterne 94,616 → 94,625, neueste Version v0.32.0 (18. Oktober 2026).
Was es bringt
- bietet ein speichereffizientes PagedAttention-Management
- arbeitet kompatibel mit beliebten Hugging Face-Modellen
- enthält Unterstützung für einen OpenAI-kompatiblen API-Server
Installation
uv pip install vllm
vllm download-kernels # precompiled kernels for faster startupWenn Sie nicht programmieren
Ich möchte die vllm-Engine auf meinem Computer installieren. Verwende die folgenden Befehle, um die Installation durchzuführen: uv pip install vllm vllm download-kernels # precompiled kernels for faster startup
Repository: https://github.com/vllm-project/vllm. Richte dich bei der Installation und Ausführung nach den offiziellen Anweisungen in der README-Datei dieses Repositorys.
Prüfe vor dem Start, unter welchem Betriebssystem wir arbeiten und ob die notwendigen Tools (z. B. Python, Node.js, Git, Docker) installiert sind. Installiere fehlende Tools schrittweise entsprechend diesem System.
Erstelle einen neuen, leeren Ordner für die Arbeit. Rühre keine Dateien außerhalb dieses Ordners an und lösche nichts. Sag mir vor jedem Befehl in einem Satz, was du tun wirst.
Sag mir, was ich am Ende jedes Schrittes auf dem Bildschirm sehen sollte. Wenn ein Fehler auftritt, füge ich die Fehlermeldung exakt so ein, wie sie ist, und wir beheben sie gemeinsam.
Verwandte Begriffe aus dem Glossar
Links
TreScout hat dieses Werkzeug nicht entwickelt · wir haben es in den GitHub-Trends gefunden und stellen es vor. Diese Seite beschreibt das Repository so, wie es am 2026-10-21 war: Die Anzahl der Sterne und unser Text stammen von diesem Tag, das Repository kann sich seitdem geändert haben. Den aktuellen Stand finden Sie über den Link zum Repository. Der Präsentationstext wurde mit KI aus der eigenen Dokumentation des Repositories erstellt und diese Seite wurde maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung.