Mac bilgisayarlar için yapay zekâ sunucusu
Omlx, Apple Silicon işlemciler için sürekli yığınlama (continuous batching) ve SSD önbellekleme (SSD caching) özelliklerini destekleyen bir büyük dil modeli (LLM) çıkarım sunucusudur. macOS menü çubuğu üzerinden yönetilen bu araç, yerel donanım üzerinde yüksek performanslı model çalıştırma imkânı sunar.
Güncelleme
- 31 Ağustos 2026: Yıldız 20.793 → 21.147, son sürüm v0.6.4 (29 Ağustos 2026).
- 27 Ağustos 2026: Yıldız 20.069 → 20.793, son sürüm v0.6.3rc3 (24 Ağustos 2026).
- 20 Ağustos 2026: Yıldız 19.758 → 20.069, son sürüm v0.6.3rc2 (20 Ağustos 2026).
- 19 Ağustos 2026: Yıldız 19.519 → 19.758, son sürüm v0.6.3rc1 (19 Ağustos 2026).
Ne kazandırır?
- Apple Silicon işlemcilerde yüksek performanslı model çalıştırma
- SSD önbellekleme ile verimli bellek yönetimi
- Menü çubuğundan kolay sunucu kontrolü
Kurulum
brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlxÇalıştırma
omlx startKod bilmiyorsanız
Yerel Apple Silicon donanımımda çalışan oMLX sunucum üzerinden büyük dil modellerini yönetiyorum. Sürekli yığınlama ve SSD önbellekleme özelliklerini kullanarak, bellek kullanımını optimize etmemi ve model performansını artırmamı sağlayacak en iyi yapılandırma ayarlarını öner. Ayrıca, mevcut modellerim arasında geçiş yaparken KV önbelleğini nasıl en verimli şekilde kullanabileceğimi açıkla.
Bağlantılar
TreScout bu aracı geliştirmedi · GitHub trendlerinde keşfedip Türkçe tanıttı. Bu sayfa deponun 2026-08-18 tarihindeki hâlini anlatır: Yıldız sayısı ve yazdığımız metin o güne aittir, depo sonrasında değişmiş olabilir. Güncel durum için depo bağlantısına bakın.