Yerel cihazda yapay zekâ modelleri
Bonsai demo projesi, makine öğrenimi (machine learning) modellerinin dağıtım süreçlerini basitleştirmek için tasarlanmış bir araç seti sunuyor. Yazılım, karmaşık model mimarilerini yönetilebilir iş akışlarına dönüştürerek geliştiricilerin uygulama süreçlerini optimize etmesine yardımcı oluyor.
Güncelleme
- 19 Eylül 2026: Yıldız 1.587 → 2.706.
Ne kazandırır?
- Düşük bellek kullanımıyla yüksek performanslı modelleri yerel olarak çalıştırır.
- Görsel işleme ve araç çağırma gibi gelişmiş özellikler sunar.
- Farklı donanım mimarileriyle geniş uyumluluk sağlar.
Kurulum
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
# (Optional) Choose a model size: 27B (default), 8B, 4B, or 1.7B
export BONSAI_MODEL=27B
# Set your HuggingFace token (only required for 27B while its repos are private)
export BONSAI_TOKEN="hf_your_token_here"
# One command does everything: installs deps, downloads models + binaries
./setup.shÇalıştırma
./scripts/start_llama_server.sh # http://localhost:8080
# Serve a different model size
BONSAI_MODEL=4B ./scripts/start_llama_server.shKod bilmiyorsanız
Bonsai-demo projesini kullanarak yerel cihazımda yapay zekâ modellerini çalıştırmak istiyorum. Kurulum için gerekli olan git deposunu klonladıktan sonra, Hugging Face token bilgilerimi tanımlayıp ./setup.sh komutuyla bağımlılıkları ve modelleri indirmem gerekiyor. Ardından, ./scripts/start_llama_server.sh komutunu kullanarak yerel sunucuyu ayağa kaldırabilir ve tarayıcım üzerinden 8080 portu ile yapay zekâ ile etkileşime geçebilirim.
Depo: https://github.com/PrismML-Eng/Bonsai-demo. Kurulum ve çalıştırmada bu deponun README dosyasındaki resmî talimatları esas al.
Başlamadan önce hangi işletim sisteminde çalıştığımızı ve gerekli araçların (ör. Python, Node.js, Git, Docker) kurulu olup olmadığını kontrol et; eksik olanları bu sisteme göre adım adım kur.
Çalışmak için yeni ve boş bir klasör oluştur. Bu klasörün dışındaki dosyalarıma dokunma, hiçbir şeyi silme. Her komutu çalıştırmadan önce ne yapacağını bir cümleyle söyle.
Bir API anahtarı gerekirse onu sohbete yazmamı isteme. .env dosyasına nasıl ekleyeceğimi göster ve bu dosyanın Git'e gönderilmediğinden emin ol.
Her adımın sonunda ekranda ne görmem gerektiğini söyle. Bir hata oluşursa hata mesajını sana olduğu gibi yapıştıracağım, birlikte düzeltelim.
Bağlantılar
TreScout bu aracı geliştirmedi · GitHub trendlerinde keşfedip Türkçe tanıttı. Tanıtım metni deponun kendi belgelerinden yapay zekâ ile hazırlandı. Bu sayfa deponun 2026-07-17 tarihindeki hâlini anlatır: Yıldız sayısı ve yazdığımız metin o güne aittir, depo sonrasında değişmiş olabilir. Güncel durum için depo bağlantısına bakın.