← Entdecken
Entdecken · GitHub · Omlx↑ +366 heute

KI-Server für Mac-Computer

Omlx ist ein LLM-Inferenzserver (Large Language Model), der kontinuierliches Batching und SSD-Caching für Apple Silicon-Prozessoren unterstützt. Dieses über die macOS-Menüleiste verwaltete Tool bietet die Möglichkeit, leistungsstarke Modelle auf lokaler Hardware auszuführen.

Aktualisierungen

  • 31. August 2026: Sterne 20,793 → 21,147, neueste Version v0.6.4 (29. August 2026).
  • 27. August 2026: Sterne 20,069 → 20,793, neueste Version v0.6.3rc3 (24. August 2026).
  • 20. August 2026: Sterne 19,758 → 20,069, neueste Version v0.6.3rc2 (20. August 2026).
  • 19. August 2026: Sterne 19,519 → 19,758, neueste Version v0.6.3rc1 (19. August 2026).

Was es bringt

  • Betrieb von Hochleistungsmodellen auf Apple Silicon-Prozessoren
  • Effiziente Speicherverwaltung mit SSD-Caching
  • Einfache Serversteuerung über die Menüleiste

Installation

Installation mit Homebrew
brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlx

Ausführung

Starten des Hintergrunddienstes
omlx start

Wenn Sie nicht programmieren

🤖 Fügen Sie dies in Ihren Agenten ein (Claude Code · Codex · Antigravity)

Ich verwalte große Sprachmodelle über meinen oMLX-Server, der auf meiner lokalen Apple Silicon-Hardware läuft. Empfehlen Sie die besten Konfigurationseinstellungen, mit denen ich die Speichernutzung optimieren und die Modellleistung durch kontinuierliches Stapeln und SSD-Caching verbessern kann. Erklären Sie außerdem, wie ich den KV-Cache beim Wechsel zwischen meinen aktuellen Modellen am effizientesten nutzen kann.

Verwandte Begriffe aus dem Glossar

Continuous BatchingSSD CachingCachingApple SiliconLLMArtificial Intelligence
Für wen es gedacht istEs richtet sich an Benutzer, die leistungsstarke Modelle der künstlichen Intelligenz lokal auf ihrem Mac-Computer mit Apple Silicon-Prozessor ausführen und verwalten möchten.
LizenzApache-2.0

Links

TreScout hat dieses Werkzeug nicht entwickelt · wir haben es in den GitHub-Trends gefunden und stellen es vor. Diese Seite beschreibt das Repository so, wie es am 2026-08-18 war: Die Anzahl der Sterne und unser Text stammen von diesem Tag, das Repository kann sich seitdem geändert haben. Den aktuellen Stand finden Sie über den Link zum Repository. Diese Seite wurde maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung.