Große KI-Modelle auf dem Personal Computer
FlashML-org/FreeToken ist eine Bibliothek, mit der sich große KI-Modelle im Rechenzentrumsmaßstab schnell und effizient auf Personal Computern ausführen lassen. Sie ermöglicht es Benutzern, Mixture-of-Experts-Modelle (MoE) mit über 290 Milliarden Parametern auf Standard-Hardware mit interaktiven Geschwindigkeiten zu nutzen.
Aktualisierungen
- 6. November 2026: Sterne 15,664 → 16,721, neueste Version v0.2.1 (26. Oktober 2026).
- 2. November 2026: Sterne 15,543 → 15,664, neueste Version v0.2.1 (26. Oktober 2026).
Was es bringt
- Fasst die genutzten Hardware-Ressourcen zu einer einzigen KI-Infrastruktur zusammen.
- Bietet ein dynamisches Ressourcenmanagement zwischen Grafikspeicher (VRAM) und Hauptspeicher.
- Führt große Mixture-of-Experts-Architektur-Modelle (MoE) auf lokalen Geräten mit interaktiven Geschwindigkeiten aus.
Installation
uv pip install "freetoken[accel]"git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
uv venv && source .venv/bin/activate
uv pip install -e ".[accel]"Wenn Sie nicht programmieren
Sie müssen die FreeToken-Bibliothek installieren, mit der große KI-Modelle auf einem lokalen Computer ausgeführt werden können. Für die Installation mit dem schnellen Paketmanager uv können Sie den Befehl uv pip install "freetoken[accel]" verwenden. Wenn Sie es direkt aus dem Quellcode kompilieren möchten, können Sie die Befehlssequel git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken uv venv && source .venv/bin/activate uv pip install -e ".[accel]" ausführen.
Repository: https://github.com/FlashML-org/FreeToken. Richte dich bei der Installation und Ausführung nach den offiziellen Anweisungen in der README-Datei dieses Repositorys.
Prüfe vor dem Start, unter welchem Betriebssystem wir arbeiten und ob die notwendigen Tools (z. B. Python, Node.js, Git, Docker) installiert sind. Installiere fehlende Tools schrittweise entsprechend diesem System.
Erstelle einen neuen, leeren Ordner für die Arbeit. Rühre keine Dateien außerhalb dieses Ordners an und lösche nichts. Sag mir vor jedem Befehl in einem Satz, was du tun wirst.
Sag mir, was ich am Ende jedes Schrittes auf dem Bildschirm sehen sollte. Wenn ein Fehler auftritt, füge ich die Fehlermeldung exakt so ein, wie sie ist, und wir beheben sie gemeinsam.
Verwandte Begriffe aus dem Glossar
Links
TreScout hat dieses Werkzeug nicht entwickelt · wir haben es in den GitHub-Trends gefunden und stellen es vor. Diese Seite beschreibt das Repository so, wie es am 2026-11-02 war: Die Anzahl der Sterne und unser Text stammen von diesem Tag, das Repository kann sich seitdem geändert haben. Den aktuellen Stand finden Sie über den Link zum Repository. Der Präsentationstext wurde mit KI aus der eigenen Dokumentation des Repositories erstellt und diese Seite wurde maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung.