← Keşif
Keşif · GitHub · FlashKDA🚀 +91 bugün

Kimi Delta Attention için yüksek performanslı çekirdekler

Moonshot AI tarafından geliştirilen FlashKDA, Kimi Delta Attention mekanizması için yüksek performanslı çekirdekler (kernels) sunuyor. CUDA tabanlı bu teknoloji, büyük dil modellerinde dikkat (attention) hesaplamalarını hızlandırmayı amaçlıyor.

Ne kazandırır?

  • CUDA tabanlı hızlandırılmış dikkat hesaplamaları
  • Büyük dil modellerinde verimli çalışma
  • CUTLASS ile optimize edilmiş çekirdek yapısı

Kurulum

Temel kurulum
git clone https://github.com/MoonshotAI/FlashKDA.git flash-kda
cd flash-kda
git submodule update --init --recursive
pip install -v --no-build-isolation .
Tüm mimariler için derleme
FLASH_KDA_CUDA_ARCHS=all pip install -v --no-build-isolation .

Çalıştırma

FLA arka ucu olarak kullanma
pip install -U flash-linear-attention

Kod bilmiyorsanız

🤖 Yapay zekâ ajanınıza (Claude Code · Codex · Antigravity) yapıştırın

FlashKDA aracını kullanarak Kimi Delta Attention hesaplamalarını hızlandırmak istiyorum. Flash-linear-attention kütüphanesi ile entegre bir şekilde, torch.inference_mode() altında chunk_kda fonksiyonunu kullanarak modelimin dikkat mekanizmasını nasıl optimize edebilirim? Lütfen gerekli parametreleri ve dikkat etmem gereken donanım gereksinimlerini göz önünde bulundurarak bir uygulama örneği oluştur.

Kimin içinBüyük dil modellerinde dikkat hesaplamalarını CUDA üzerinde hızlandırmak isteyen geliştiriciler için uygundur.
LisansMIT

Bağlantılar

İlgili sözlük terimleri

KernelsAttentionArtificial Intelligence

TreScout bu aracı geliştirmedi · GitHub trendlerinde keşfedip Türkçe tanıttı. Yıldız ve sayılar keşif tarihindeki değerlerdir.