Führen Sie KI-Modelle auf Ihrem Computer aus
Llama.cpp ist eine C- und C++-basierte Inferenzbibliothek, die die effiziente Ausführung großer Sprachmodelle auf Standardhardware ermöglicht. Die Software erleichtert durch ihren geringen Speicherverbrauch und ihre hochleistungsorientierte Struktur die Ausführung von Modellen der künstlichen Intelligenz auf lokalen Geräten.
Aktualisierungen
- 16. Oktober 2026: Sterne 130,447 → 131,352, neueste Version v0.7.0 (15. Oktober 2026).
- 6. Oktober 2026: Sterne 129,621 → 130,447, neueste Version v0.6.0 (5. Oktober 2026).
- 27. September 2026: Sterne 128,278 → 129,621, neueste Version v0.5.0 (23. September 2026).
- 15. September 2026: Sterne 127,101 → 128,278, neueste Version v0.4.1 (14. September 2026).
Was es bringt
- Es führt große Sprachmodelle effizient auf Standardhardware aus.
- Bietet hohe Leistung bei geringer Speichernutzung.
- Erleichtert die Ausführung von KI-Modellen auf lokalen Geräten.
Installation
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cppAusführung
llama-cli -m my_model.ggufWenn Sie nicht programmieren
Ich möchte große Sprachmodelle lokal auf meinem Computer ausführen. Wie kann ich meine eigene Modelldatei mit dem Tool llama.cpp mit dem Befehl „llama-cli -m my_model.gguf“ ausführen oder mit dem Befehl „llama-cli -hf ggml-org/gemma-3-1b-it-GGUF“ ein Modell direkt von Hugging Face herunterladen und starten? Können Sie mir bei den Hardwareanforderungen oder der Modellauswahl helfen, auf die ich in diesem Prozess achten sollte?
Repository: https://github.com/ggml-org/llama.cpp. Richte dich bei der Installation und Ausführung nach den offiziellen Anweisungen in der README-Datei dieses Repositorys.
Prüfe vor dem Start, unter welchem Betriebssystem wir arbeiten und ob die notwendigen Tools (z. B. Python, Node.js, Git, Docker) installiert sind. Installiere fehlende Tools schrittweise entsprechend diesem System.
Erstelle einen neuen, leeren Ordner für die Arbeit. Rühre keine Dateien außerhalb dieses Ordners an und lösche nichts. Sag mir vor jedem Befehl in einem Satz, was du tun wirst.
Sag mir, was ich am Ende jedes Schrittes auf dem Bildschirm sehen sollte. Wenn ein Fehler auftritt, füge ich die Fehlermeldung exakt so ein, wie sie ist, und wir beheben sie gemeinsam.
Verwandte Begriffe aus dem Glossar
Links
TreScout hat dieses Werkzeug nicht entwickelt · wir haben es in den GitHub-Trends gefunden und stellen es vor. Diese Seite beschreibt das Repository so, wie es am 2026-06-08 war: Die Anzahl der Sterne und unser Text stammen von diesem Tag, das Repository kann sich seitdem geändert haben. Den aktuellen Stand finden Sie über den Link zum Repository. Der Präsentationstext wurde mit KI aus der eigenen Dokumentation des Repositories erstellt und diese Seite wurde maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung.