Yapay zekâ modelleri için heterojen hızlandırma
Ktransformers, büyük dil modellerinin (large language models) çıkarım ve ince ayar (fine-tuning) süreçlerinde heterojen donanım optimizasyonlarını destekleyen esnek bir çerçeve sunuyor. Bu yapı, farklı donanım kaynaklarını verimli kullanarak model performansını artırmayı hedefliyor.
Güncelleme
- 18 Ağustos 2026: Yıldız 19.145 → 19.255, son sürüm v0.7.0 (17 Ağustos 2026).
- 2 Ağustos 2026: Yıldız 18.491 → 19.145, son sürüm v0.6.4 (23 Temmuz 2026).
Ne kazandırır?
- İşlemci ve ekran kartı kaynaklarını birlikte kullanarak verimli çalışma
- Büyük ölçekli MoE modellerinde düşük donanım gereksinimi
- Popüler çerçevelerle entegre çıkarım ve ince ayar desteği
Kurulum
cd kt-kernel
pip install .Kod bilmiyorsanız
Ktransformers kullanarak büyük dil modellerini CPU ve GPU üzerinde heterojen bir şekilde çalıştırıyorum. Donanım kaynaklarımı verimli kullanmak ve model çıkarım performansını optimize etmek için kt-kernel kütüphanesini sistemime nasıl entegre edebilirim ve MoE modelleri için en uygun yapılandırma ayarları nelerdir?
Bağlantılar
TreScout bu aracı geliştirmedi · GitHub trendlerinde keşfedip Türkçe tanıttı. Bu sayfa deponun 2026-07-20 tarihindeki hâlini anlatır: Yıldız sayısı ve yazdığımız metin o güne aittir, depo sonrasında değişmiş olabilir. Güncel durum için depo bağlantısına bakın.