← Entdecken
Entdecken · GitHub · Llama.cpp↑ +158 heute

Führen Sie KI-Modelle auf Ihrem Computer aus

Llama.cpp ist eine C- und C++-basierte Inferenzbibliothek, die die effiziente Ausführung großer Sprachmodelle auf Standardhardware ermöglicht. Die Software erleichtert durch ihren geringen Speicherverbrauch und ihre hochleistungsorientierte Struktur die Ausführung von Modellen der künstlichen Intelligenz auf lokalen Geräten.

Aktualisierungen

  • 5. September 2026: Sterne 125,883 → 127,101, neueste Version v0.4.0 (4. September 2026).
  • 27. August 2026: Sterne 125,068 → 125,883, neueste Version v0.3.0 (25. August 2026).
  • 22. August 2026: Sterne 124,998 → 125,068, neueste Version v0.2.0 (21. August 2026).
  • 21. August 2026: Sterne 124,919 → 124,998, neueste Version b10549 (21. August 2026).

Was es bringt

  • Es führt große Sprachmodelle effizient auf Standardhardware aus.
  • Bietet hohe Leistung bei geringer Speichernutzung.
  • Erleichtert die Ausführung von KI-Modellen auf lokalen Geräten.

Installation

Quellcode klonen
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp

Ausführung

GGUF-Modell ausführen
llama-cli -m my_model.gguf

Wenn Sie nicht programmieren

🤖 Fügen Sie dies in Ihren Agenten ein (Claude Code · Codex · Antigravity)

Ich möchte große Sprachmodelle lokal auf meinem Computer ausführen. Wie kann ich meine eigene Modelldatei mit dem Tool llama.cpp mit dem Befehl „llama-cli -m my_model.gguf“ ausführen oder mit dem Befehl „llama-cli -hf ggml-org/gemma-3-1b-it-GGUF“ ein Modell direkt von Hugging Face herunterladen und starten? Können Sie mir bei den Hardwareanforderungen oder der Modellauswahl helfen, auf die ich in diesem Prozess achten sollte?

Verwandte Begriffe aus dem Glossar

GGUFInferenceLarge Language ModelsArtificial Intelligence
Für wen es gedacht istEs richtet sich an Benutzer, die große Sprachmodelle auf ihrer eigenen Hardware ausführen möchten, ohne auf das Internet angewiesen zu sein.
LizenzMIT

Links

TreScout hat dieses Werkzeug nicht entwickelt · wir haben es in den GitHub-Trends gefunden und stellen es vor. Diese Seite beschreibt das Repository so, wie es am 2026-06-08 war: Die Anzahl der Sterne und unser Text stammen von diesem Tag, das Repository kann sich seitdem geändert haben. Den aktuellen Stand finden Sie über den Link zum Repository. Diese Seite wurde maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung.