Mac bilgisayarlar için yapay zekâ sunucusu

Güncelleme

• 25 Ekim 2026: Yıldız 22.973 → 23.036, son sürüm v0.7.3.dev2 (25 Ekim 2026).
• 21 Ekim 2026: Yıldız 22.855 → 22.973, son sürüm v0.7.2 (21 Ekim 2026).
• 16 Ekim 2026: Yıldız 22.825 → 22.855, son sürüm v0.7.1rc1 (15 Ekim 2026).
• 15 Ekim 2026: Yıldız 22.655 → 22.825, son sürüm v0.7.1.dev2 (15 Ekim 2026).

Ne kazandırır?

• Apple MLX ve Metal donanım ivmesi: Apple Silicon işlemcilerin Birleşik Bellek Mimarisi'ni (UMA) doğrudan kullanarak CPU ile GPU arasındaki bellek kopyalama darboğazını tamamen ortadan kaldırır.
• Sürekli yığınlama (Continuous Batching): Eşzamanlı gelen çok sayıda kullanıcı ve ajan istemini tek bir hesaplama döngüsünde birleştirerek sunucu verimini 3 kata kadar artırır.
• SSD önbellekleme ve parça ön dolumu (Chunked Prefill): Uzun bağlam pencerelerinde (context window) anahtar-değer (KV) önbelleğini NVMe SSD üzerinde saklayarak bellek yetersizliği (OOM) kilitlenmelerini önler.
• OpenAI uyumlu standart API: /v1/chat/completions ve /v1/models uç noktaları sayesinde Cursor, Open WebUI, Continue ve LangChain araçlarıyla sıfır konfigürasyonla çalışır.
• macOS menü çubuğu kontrolü: Terminale girmeden sunucuyu başlatma, durdurma, model seçme ve bellek tüketimini canlı grafiklerle izleme pratikliği sunar.

Kurulum

brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlx

Çalıştırma

omlx start

omlx run mlx-community/Llama-3.2-3B-Instruct-4bit

Teknik mimari ve çalışma prensibi

Omlx, Apple araştırmacıları tarafından geliştirilen MLX makine öğrenimi çatısı üzerine inşa edilmiştir. Geleneksel çıkarım araçlarının (llama.cpp veya Ollama gibi) Mac üzerindeki sınırlarını aşmak için tasarlanmış üç temel mimari sütuna dayanır:

• Birleşik bellekten (UMA) tam yararlanma: Ayrık ekran kartına sahip PC'lerin aksine Apple Silicon Mac'lerde 128 GB veya 192 GB RAM doğrudan GPU çekirdekleri tarafından adreslenebilir. Omlx, Metal Shading Language (MSL) çekirdekleriyle bu devasa bellek havuzunu sıfır gecikmeyle işler.
• Dinamik KV önbellek yönetimi (PagedAttention): Çoklu oturumlarda bellek parçalanmasını engellemek için anahtar-değer tensörlerini sayfalanmış bloklar halinde tahsis eder. İstem bittiğinde kullanılan bellek derhal serbest bırakılır.
• SSD'ye taşan önbellek katmanı: 32K ve 128K gibi devasa bağlam pencerelerinde KV önbelleği RAM'i aştığında, Omlx otomatik olarak Apple'ın yüksek hızlı tümleşik SSD diskine sayfalama (paging) yapar. Böylece model çökmeden çıkarıma devam eder.

OpenAI uyumlu yerel API entegrasyonu

Omlx başlatıldığında yerel makinenizde (varsayılan olarak http://localhost:8000 portunda) OpenAI uyumlu bir REST API sunar. Bu sayede kod editörlerinizi ve yapay zekâ uygulamalarınızı yerel modellerle besleyebilirsiniz:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "default",
    "messages": [{"role": "user", "content": "Apple Silicon mimarisinin temel avantajı nedir?"}],
    "temperature": 0.7
  }'

Kod bilmiyorsanız

Sıkça sorulan sorular

• Omlx ile Ollama arasındaki temel fark nedir? Ollama genel olarak C++ tabanlı llama.cpp altyapısını kullanırken, Omlx doğrudan Apple tarafından geliştirilen MLX çerçevesi üzerinde çalışır. Bu sayede Apple Silicon çiplerinin Metal ve nöral motor birimleriyle daha derin entegrasyon kurarak özellikle sürekli yığınlama ve uzun bağlamlarda daha yüksek token üretim hızı sağlar.
• 16 GB veya 24 GB RAM ile hangi modeller çalıştırılabilir? 4-bit kuantize edilmiş 8B parametreli modeller (Llama 3, Qwen 2.5, Mistral) yaklaşık 5-6 GB bellek kaplar ve 16 GB Mac'lerde son derece akıcı çalışır. 24 GB veya 36 GB birleşik belleğe sahip cihazlarda ise 14B veya 32B modeller rahatlıkla yüklenebilir.
• SSD önbellekleme Mac'in disk ömrünü yıpratır mı? Hayır. Omlx önbelleğe alma işlemlerinde gereksiz yazma döngülerini engellemek için akıllı tamponlama algoritmaları kullanır. Yalnızca bağlam belleği RAM sınırına yaklaştığında devreye girer ve disk aşınmasını minimumda tutar.
• Intel tabanlı eski Mac bilgisayarlarda çalışır mı? Hayır. Omlx, Apple Silicon (ARM mimarisi) ve Apple MLX çatısına özel optimize edilmiştir. Intel tabanlı Mac'lerde veya Windows/Linux x86 bilgisayarlarda çalışmaz.

Bağlantılar

• GitHub deposu →

İlgili sözlük terimleri