← Descubrir
GitHub · MoonshotAI/FlashKDA↑ +91 hoy

Núcleos de alto rendimiento para algunos Delta Atención

Desarrollado por Moonshot AI, FlashKDA ofrece núcleos de alto rendimiento para el mecanismo Some Delta Attention. Esta tecnología basada en CUDA tiene como objetivo acelerar los cálculos de atención en modelos de lenguaje grandes.

Qué aporta

  • Cálculos de atención acelerada basados en CUDA
  • Trabajar de manera eficiente en modelos de lenguaje grandes
  • Estructura del kernel optimizada con CUTLASS

Instalación

Configuración básica
git clone https://github.com/MoonshotAI/FlashKDA.git flash-kda
cd flash-kda
git submodule update --init --recursive
pip install -v --no-build-isolation .
Construido para todas las arquitecturas
FLASH_KDA_CUDA_ARCHS=all pip install -v --no-build-isolation .

Ejecución

Usando FLA como backend
pip install -U flash-linear-attention

Si no programa

Pegue esto en su agente (Claude Code · Codex · Antigravity)

Quiero acelerar algunos cálculos de Delta Attention usando la herramienta FlashKDA. ¿Cómo puedo optimizar el mecanismo de atención de mi modelo utilizando la función chunk_kda en torch.inference_mode(), integrada con la biblioteca flash-linear-attention? Cree un ejemplo de aplicación, teniendo en cuenta los parámetros necesarios y los requisitos de hardware a los que debo prestar atención.

Repositorio: https://github.com/MoonshotAI/FlashKDA. Sigue las instrucciones oficiales del archivo README de este repositorio para la instalación y ejecución.

Antes de empezar, comprueba en qué sistema operativo estamos y si las herramientas necesarias (ej. Python, Node.js, Git, Docker) están instaladas. Instala las que falten paso a paso según este sistema.

Crea una carpeta nueva y vacía para trabajar. No toques ningún archivo fuera de esta carpeta y no borres nada. Antes de ejecutar cada comando, dime qué vas a hacer en una frase.

Dime qué debería ver en la pantalla al final de cada paso. Si ocurre un error, te pegaré el mensaje de error tal cual y lo solucionaremos juntos.

Términos relacionados del glosario

AttentionKernelsArtificial Intelligence
Para quién esEs adecuado para desarrolladores que desean acelerar los cálculos de atención en modelos de lenguaje grandes en CUDA.
LicenciaMIT

Enlaces

TreScout no desarrolló esta herramienta · la encontramos en las tendencias de GitHub y la presentamos. Esta página describe el repositorio tal como estaba el 2026-07-30: El número de estrellas y nuestro texto son de ese día, el repositorio puede haber cambiado desde entonces. Consulte el enlace del repositorio para ver el estado actual. El texto de presentación se preparó con IA a partir de la propia documentación del repositorio y esta página se tradujo automáticamente del original en turco · prevalece la versión turca.