Experts Streamed from Disk nedir?
Devasa yapay zekâ modellerinin parçalarının, belleğe sığmadığında diskten anlık olarak yüklenmesi yöntemidir.
Tanım
Yapay zekâ modelleri bazen o kadar büyüktür ki bilgisayarın RAM kapasitesine sığmazlar. Bu teknikte, modelin sadece o an ihtiyaç duyulan kısımları (uzmanları) diskten hızlıca okunarak belleğe getirilir. Böylece çok büyük modeller, sınırlı donanımlarda bile çalışabilir hale gelir.
Nasıl çalışır?
Sistem, modelin ağırlıklarını küçük parçalara böler ve bunları diskte saklar. Kullanıcı bir soru sorduğunda, modelin ilgili parçaları çok hızlı bir şekilde diskten belleğe aktarılır, işlem yapılır ve ardından bellek boşaltılır.
Nerede kullanılır?
Özellikle ev tipi bilgisayarlarda çok büyük dil modellerini çalıştırmak isteyen geliştiriciler ve donanım kısıtı olan sunucularda kullanılır.
Sık karıştırılanlar
Modelin tamamının belleğe yüklenmesiyle karıştırılabilir; burada sadece ihtiyaç anında yükleme söz konusudur.
Sıkça sorulanlar
Bu yöntem hızı düşürür mü?
Evet, diskten okuma işlemi RAM'e göre daha yavaş olduğu için modelin yanıt verme süresinde bir miktar gecikme yaşanabilir.
Her model bu şekilde çalışabilir mi?
Modelin bu mimariyle tasarlanmış olması gerekir; yani parçalı (Mixture of Experts) bir yapıda olması şarttır.
İlgili terimler
Bu açıklama TreScout için sade dille hazırlandı · yanlış ya da eksik gördüğünüz bir şey olursa hello@trescout.com. TreScout her gün GitHub, Hacker News ve HuggingFace trendlerini Türkçe özetler.