İşlemcide verimli yapay zekâ çıkarımı
Microsoft tarafından geliştirilen BitNet, 1-bit büyük dil modelleri (LLMs) için resmi bir çıkarım çerçevesi (inference framework) sunuyor. C++ diliyle yazılan bu araç, düşük bit hassasiyetli modellerin çalıştırılmasını optimize etmeyi hedefliyor.
Ne kazandırır?
- Standart bilgisayar işlemcilerinde yapay zekâ modellerini yüksek hız ve düşük enerji tüketimiyle çalıştırır.
- Sıkıştırılmış 1-bit dil modellerini kalite kaybı yaşamadan yerel cihazınızda kullanmanızı sağlar.
- Diyalog modu desteği sayesinde indirilen modellerle doğrudan sohbet etme imkânı sunar.
Kurulum
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet# (Recommended) Create a new conda environment
conda create -n bitnet-cpp python=3.10
conda activate bitnet-cpp
pip install -r requirements.txtÇalıştırma
# Manually download the model and run with local path
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s# Run inference with the quantized model
python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnvKod bilmiyorsanız
Bilgisayarımda BitNet altyapısını kullanarak 1-bit yapay zekâ modelini çalıştırmak istiyorum. Öncelikle 'git clone --recursive https://github.com/microsoft/BitNet.git' komutuyla projeyi klonlayıp klasörüne girme, paket yöneticisi Conda ile Python 3.10 ortamı açıp gereksinimleri kurma adımlarında bana rehberlik et. Ardından açık kaynak model platformu Hugging Face üzerinden microsoft/BitNet-b1.58-2B-4T-gguf modelini indirip 'setup_env.py' ile hazırlama ve son olarak 'run_inference.py' betiğiyle sohbet modunu başlatma adımlarını kodlama bilmeyen birinin anlayacağı sadelikte, adım adım açıkla.
Depo: https://github.com/microsoft/BitNet. Kurulum ve çalıştırmada bu deponun README dosyasındaki resmî talimatları esas al.
Başlamadan önce hangi işletim sisteminde çalıştığımızı ve gerekli araçların (ör. Python, Node.js, Git, Docker) kurulu olup olmadığını kontrol et; eksik olanları bu sisteme göre adım adım kur.
Çalışmak için yeni ve boş bir klasör oluştur. Bu klasörün dışındaki dosyalarıma dokunma, hiçbir şeyi silme. Her komutu çalıştırmadan önce ne yapacağını bir cümleyle söyle.
Her adımın sonunda ekranda ne görmem gerektiğini söyle. Bir hata oluşursa hata mesajını sana olduğu gibi yapıştıracağım, birlikte düzeltelim.
Bağlantılar
TreScout bu aracı geliştirmedi · GitHub trendlerinde keşfedip Türkçe tanıttı. Tanıtım metni deponun kendi belgelerinden yapay zekâ ile hazırlandı. Bu sayfa deponun 2026-10-12 tarihindeki hâlini anlatır: Yıldız sayısı ve yazdığımız metin o güne aittir, depo sonrasında değişmiş olabilir. Güncel durum için depo bağlantısına bakın.