KI-Server für Mac-Computer

Was es bringt

• Apple MLX- und Metal-Hardwarebeschleunigung: Beseitigt den Speicherkopie-Engpass zwischen CPU und GPU vollständig durch die direkte Nutzung der Unified Memory Architecture (UMA) der Apple Silicon-Prozessoren.
• Kontinuierliche Stapelverarbeitung: Erhöht die Servereffizienz um das bis zu Dreifache, indem mehrere gleichzeitige Benutzer- und Agentenanfragen in einem einzigen Berechnungszyklus zusammengefasst werden.
• SSD-Caching und Chunk-Vorabfüllung: Verhindert Abstürze wegen unzureichendem Arbeitsspeicher (OOM), indem der Schlüsselwert-Cache (KV) während langer Kontextfenster auf der NVMe-SSD gespeichert wird.
• OpenAI-kompatible Standard-API: Funktioniert dank der Endpunkte /v1/chat/completions und /v1/models ohne Konfiguration mit den Tools Cursor, Open WebUI, Continue und LangChain.
• macOS-Menüleistensteuerung: Bietet den Komfort, Modelle zu starten, zu stoppen, auszuwählen und den Speicherverbrauch mit Live-Grafiken zu überwachen, ohne das Terminal aufzurufen.

Installation

brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlx

Ausführung

omlx start

omlx run mlx-community/Llama-3.2-3B-Instruct-4bit

Technische Architektur und Funktionsweise

• Vollständige Nutzung des Unified Memory (UMA): Im Gegensatz zu PCs mit separater Grafik können bei Apple Silicon Macs 128 GB oder 192 GB RAM direkt von den GPU-Kernen angesprochen werden. Omlx verarbeitet diesen riesigen Speicherpool ohne Latenz mit Metal Shading Language (MSL)-Kernen.
• Dynamische KV-Cache-Verwaltung (PagedAttention): Weist Schlüsselwert-Tensoren als ausgelagerte Blöcke zu, um eine Speicherfragmentierung über mehrere Sitzungen hinweg zu verhindern. Der belegte Speicher wird sofort freigegeben, wenn die Anfrage endet.
• Cache-Schicht läuft auf SSD über: Wenn der KV-Cache den RAM in großen Kontextfenstern wie 32 KB und 128 KB überschreitet, lagert Omlx automatisch die integrierte Hochgeschwindigkeits-SSD-Festplatte von Apple aus. Somit setzt das Modell die Inferenz ohne Absturz fort.

OpenAI-kompatible native API-Integration

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "default",
    "messages": [{"role": "user", "content": "Apple Silicon mimarisinin temel avantajı nedir?"}],
    "temperature": 0.7
  }'

Wenn Sie nicht programmieren

Häufig gestellte Fragen

• Was ist der Hauptunterschied zwischen Omlx und Ollama? Während Ollama im Allgemeinen die C++-basierte llama.cpp-Infrastruktur nutzt, läuft Omlx direkt auf dem von Apple entwickelten MLX-Framework. Auf diese Weise sorgt es für eine tiefere Integration mit den Metall- und neuronalen Motoreinheiten der Apple Silicon-Chips und sorgt so für eine höhere Token-Generierungsrate, insbesondere bei kontinuierlichem Stapeln und langen Kontexten.
• Welche Modelle können mit 16 GB oder 24 GB RAM betrieben werden? Modelle mit 4-Bit-quantisierten 8B-Parametern (Llama 3, Qwen 2.5, Mistral) beanspruchen etwa 5-6 GB Speicher und laufen auf 16-GB-Macs äußerst flüssig. Auf Geräten mit 24 GB oder 36 GB kombiniertem Speicher können problemlos 14B- oder 32B-Modelle installiert werden.
• Verkürzt SSD-Caching die Festplattenlebensdauer des Mac? Nein. Omlx verwendet intelligente Pufferalgorithmen, um unnötige Schreibzyklen bei Caching-Vorgängen zu vermeiden. Es setzt erst ein, wenn sich der Kontextspeicher der RAM-Grenze nähert, wodurch der Festplattenverschleiß auf ein Minimum reduziert wird.
• Funktioniert es auf älteren Intel-basierten Mac-Computern? Nein. Omlx ist speziell für Apple Silicon (ARM-Architektur) und das Apple MLX-Framework optimiert. Es läuft nicht auf Intel-basierten Macs oder Windows/Linux x86-Computern.

Verwandte Begriffe aus dem Glossar

Links

• GitHub-Repository →
• Auf Türkisch lesen →