Inference Framework nedir?
Eğitilmiş yapay zekâ modellerinin üretim ortamında hızlı, verimli ve düşük maliyetle çalıştırılmasını sağlayan yazılım altyapısıdır.
Tanım
Çıkarım çatısı (inference framework); eğitilmiş derin öğrenme veya büyük dil modellerinin yeni veriler üzerinden çıktı üretmesini optimize eden kütüphane ve yazılım katmanıdır. Model ağırlıklarını donanım hızlandırıcılarına (GPU, TPU vb.) en uygun şekilde dağıtır ve bellek kullanımını dengeler. vLLM, TensorRT-LLM ve TGI gibi popüler araçlar bu sınıfa girer.
Nasıl çalışır?
Model belleğe aktarılırken ağırlıklar optimize edilir ve KV önbelleği gibi yapılar akıllı bellek algoritmalarıyla yönetilir. Eşzamanlı gelen birden fazla kullanıcı isteği sürekli gruplama (continuous batching) yöntemiyle birleştirilerek işlemci çekirdeklerine gönderilir. Bu sayede donanım bekleme süreleri en aza indirilir ve saniyede üretilen token sayısı katlanır.
Nerede kullanılır?
Yapay zekâ API servisleri kurarken, yerel sunucularda açık kaynak modelleri çalıştırırken ve sunucu maliyetlerini düşürmek istediğinizde kullanılır.
Sık karıştırılanlar
Eğitim çatılarıyla (PyTorch, TensorFlow vb.) karıştırılır; eğitim çatıları ağırlıkları öğrenmeye ve geriye yayılıma odaklanırken, çıkarım çatıları sadece hazır modelin yanıt verme hızını maksimize eder.
Sorular ve yanıtlar
Doğrudan PyTorch kullanmak yerine neden bir çıkarım çatısı tercih edilir?
PyTorch genel amaçlı bir geliştirme ortamıdır; özel çıkarım çatıları ise bellek yönetimi ve paralel istek işleme konularında onlarca kat daha hızlıdır.
Çıkarım çatıları donanıma bağımlı mıdır?
Çoğu çatı Nvidia GPU'lar için optimize edilmiştir; ancak CPU veya Apple Silicon gibi farklı donanımlara özel optimize edilmiş çıkarım çatıları da mevcuttur.
İlgili terimler
İlgili araçlar
Bu açıklama TreScout için yapay zekâ ile sade dille hazırlandı · yanlış ya da eksik gördüğünüz bir şey olursa hello@trescout.com. TreScout her gün GitHub, Hacker News ve Hugging Face'te öne çıkanları Türkçe özetler.