yapay zekâ modellerini bilgisayarınızda çalıştırın
Llama.cpp, büyük dil modellerinin (large language models) standart donanımlar üzerinde verimli bir şekilde çalıştırılmasını sağlayan C ve C++ tabanlı bir çıkarım (inference) kütüphanesidir. Yazılım, düşük bellek kullanımı ve yüksek performans odaklı yapısıyla yerel cihazlarda yapay zekâ modellerinin çalıştırılmasını kolaylaştırır.
Ne kazandırır?
- Büyük dil modellerini standart donanımlarda verimli çalıştırır.
- Düşük bellek kullanımı ile yüksek performans sağlar.
- Yerel cihazlarda yapay zekâ modellerini çalıştırmayı kolaylaştırır.
Çalıştırma
llama-cli -m my_model.ggufllama-cli -hf ggml-org/gemma-3-1b-it-GGUFKod bilmiyorsanız
Bilgisayarımda yerel olarak büyük dil modellerini çalıştırmak istiyorum. Llama.cpp aracını kullanarak 'llama-cli -m my_model.gguf' komutuyla kendi model dosyamı nasıl çalıştırabilirim veya 'llama-cli -hf ggml-org/gemma-3-1b-it-GGUF' komutuyla Hugging Face üzerinden doğrudan bir modeli nasıl indirip başlatabilirim? Bu süreçte dikkat etmem gereken donanım gereksinimleri veya model seçimi konusunda bana yardımcı olur musun?
Bağlantılar
İlgili sözlük terimleri
TreScout bu aracı geliştirmedi · GitHub trendlerinde keşfedip Türkçe tanıttı. Yıldız ve sayılar keşif tarihindeki değerlerdir.