Führen Sie riesige KI-Modelle lokal aus
Colibri ist eine auf C basierende Engine, die es ermöglicht, groß angelegte Mixture-of-Experts-Modelle (MoE) mit geringen Hardwareanforderungen auf lokalen Computern auszuführen. Durch das Streaming von Expertenebenen direkt von der Festplatte ermöglicht es den Betrieb hochkapazitiver KI-Modelle auf Hardware mit begrenzten Ressourcen.
Aktualisierungen
- 16. Oktober 2026: Sterne 40,157 → 42,279, neueste Version v2.0.0 (6. Oktober 2026).
- 7. Oktober 2026: Sterne 39,698 → 40,157, neueste Version v2.0.0 (6. Oktober 2026).
- 5. Oktober 2026: Sterne 37,791 → 39,698, neueste Version v1.12.1 (24. September 2026).
- 27. September 2026: Sterne 36,260 → 37,791, neueste Version v1.12.1 (24. September 2026).
Was es bringt
- Führt hochkapazitive Modelle auf Hardware mit begrenzten Ressourcen aus
- Verwaltet VRAM, RAM und Festplattenspeicher wie eine einzige Ebene
- Sorgt für Effizienz durch Streaming von Expertenebenen
Installation
git clone https://github.com/JustVugg/colibri && cd colibri/c
./setup.sh # checks gcc/OpenMP, builds, self-testsAusführung
cd c
make deepseek-v4
python ./coli chat --model /path/to/DeepSeek-V4-Flash --ram 32
# also: coli run / coli serve / coli web
# Windows CUDA tier: make cuda-dsv4-dll CUDA_ARCH=portable (+ make cuda-dsv4-dg-dll on RTX 50)Wenn Sie nicht programmieren
Ich möchte groß angelegte KI-Modelle mit der Colibri-Engine auf meinem lokalen Computer ausführen. Helfen Sie mir bei der Konfiguration, um meine Hardwareressourcen (VRAM, RAM und NVMe-Festplatte) so effizient wie möglich zu nutzen. Erklären Sie Schritt für Schritt, wie ich Modelle wie GLM oder DeepSeek basierend auf der Speicherkapazität meines Systems optimieren und ausführen kann.
Repository: https://github.com/JustVugg/colibri. Richte dich bei der Installation und Ausführung nach den offiziellen Anweisungen in der README-Datei dieses Repositorys.
Prüfe vor dem Start, unter welchem Betriebssystem wir arbeiten und ob die notwendigen Tools (z. B. Python, Node.js, Git, Docker) installiert sind. Installiere fehlende Tools schrittweise entsprechend diesem System.
Erstelle einen neuen, leeren Ordner für die Arbeit. Rühre keine Dateien außerhalb dieses Ordners an und lösche nichts. Sag mir vor jedem Befehl in einem Satz, was du tun wirst.
Sag mir, was ich am Ende jedes Schrittes auf dem Bildschirm sehen sollte. Wenn ein Fehler auftritt, füge ich die Fehlermeldung exakt so ein, wie sie ist, und wir beheben sie gemeinsam.
Verwandte Begriffe aus dem Glossar
Links
TreScout hat dieses Werkzeug nicht entwickelt · wir haben es in den GitHub-Trends gefunden und stellen es vor. Diese Seite beschreibt das Repository so, wie es am 2026-09-11 war: Die Anzahl der Sterne und unser Text stammen von diesem Tag, das Repository kann sich seitdem geändert haben. Den aktuellen Stand finden Sie über den Link zum Repository. Der Präsentationstext wurde mit KI aus der eigenen Dokumentation des Repositories erstellt und diese Seite wurde maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung.