GitHub · microsoft/BitNet↑ +195 heute

Effiziente KI-Inferenz auf dem Prozessor

Das von Microsoft entwickelte BitNet bietet ein offizielles Inferenz-Framework (inference framework) für 1-Bit-Große-Sprachmodelle (LLMs). Dieses in C++ geschriebene Tool zielt darauf ab, die Ausführung von Modellen mit geringer Bit-Präzision zu optimieren.

★ 40.731
C++
GitHub Trending · 2026-10-12

Was es bringt

Führt KI-Modelle auf Standard-Computerprozessoren mit hoher Geschwindigkeit und geringem Energieverbrauch aus.
Ermöglicht es Ihnen, komprimierte 1-Bit-Sprachmodelle ohne Qualitätsverlust auf Ihrem lokalen Gerät zu nutzen.
Bietet dank der Unterstützung für den Dialogmodus die Möglichkeit, direkt mit heruntergeladenen Modellen zu chatten.

Installation

Laden Sie den Quellcode herunter

git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

Bereiten Sie die Umgebung vor und installieren Sie die Abhängigkeiten

# (Recommended) Create a new conda environment
conda create -n bitnet-cpp python=3.10
conda activate bitnet-cpp

pip install -r requirements.txt

Ausführung

Laden Sie das Modell herunter und konfigurieren Sie die Umgebung

# Manually download the model and run with local path
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

Führen Sie das Modell im Chat-Modus aus

# Run inference with the quantized model
python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnv

Wenn Sie nicht programmieren

Fügen Sie dies in Ihren Agenten ein (Claude Code · Codex · Antigravity)

Ich möchte ein 1-Bit-KI-Modell auf meinem Computer mithilfe des BitNet-Frameworks ausführen. Leite mich zunächst durch die Schritte, um das Projekt mit dem Befehl 'git clone --recursive https://github.com/microsoft/BitNet.git' zu klonen und in den Ordner zu wechseln, mit dem Paketmanager Conda eine Python 3.10-Umgebung zu erstellen und die Anforderungen zu installieren. Erkläre anschließend Schritt für Schritt und so einfach, dass es auch jemand ohne Programmierkenntnisse versteht, wie man das Modell microsoft/BitNet-b1.58-2B-4T-gguf über die Open-Source-Modellplattform Hugging Face herunterlädt, es mit 'setup_env.py' vorbereitet und schließlich den Chat-Modus mit dem Skript 'run_inference.py' startet.

Repository: https://github.com/microsoft/BitNet. Richte dich bei der Installation und Ausführung nach den offiziellen Anweisungen in der README-Datei dieses Repositorys.

Prüfe vor dem Start, unter welchem Betriebssystem wir arbeiten und ob die notwendigen Tools (z. B. Python, Node.js, Git, Docker) installiert sind. Installiere fehlende Tools schrittweise entsprechend diesem System.

Erstelle einen neuen, leeren Ordner für die Arbeit. Rühre keine Dateien außerhalb dieses Ordners an und lösche nichts. Sag mir vor jedem Befehl in einem Satz, was du tun wirst.

Sag mir, was ich am Ende jedes Schrittes auf dem Bildschirm sehen sollte. Wenn ein Fehler auftritt, füge ich die Fehlermeldung exakt so ein, wie sie ist, und wir beheben sie gemeinsam.

Links

TreScout hat dieses Werkzeug nicht entwickelt · wir haben es in den GitHub-Trends gefunden und stellen es vor. Diese Seite beschreibt das Repository so, wie es am 2026-10-12 war: Die Anzahl der Sterne und unser Text stammen von diesem Tag, das Repository kann sich seitdem geändert haben. Den aktuellen Stand finden Sie über den Link zum Repository. Der Präsentationstext wurde mit KI aus der eigenen Dokumentation des Repositories erstellt und diese Seite wurde maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung.