Aceleração heterogênea para modelos de IA
Ktransformers oferece uma estrutura flexível que suporta otimizações de hardware heterogêneas nos processos de inferência e ajuste fino de grandes modelos de linguagem. Essa estrutura visa aumentar o desempenho do modelo utilizando diferentes recursos de hardware de forma eficiente.
Atualizações
- 18 de agosto de 2026: Estrelas 19,145 → 19,255, versão mais recente v0.7.0 (17 de agosto de 2026).
- 2 de agosto de 2026: Estrelas 18,491 → 19,145, versão mais recente v0.6.4 (23 de julho de 2026).
O que você ganha
- Trabalho eficiente usando recursos do processador e da placa gráfica juntos
- Baixos requisitos de hardware em modelos MoE de grande escala
- Inferência integrada e suporte para ajuste fino com estruturas populares
Instalação
cd kt-kernel
pip install .Se você não programa
Eu executo grandes modelos de linguagem de forma heterogênea em CPU e GPU usando ktransformers. Como posso integrar a biblioteca kt-kernel em meu sistema para usar meus recursos de hardware de forma eficiente e otimizar o desempenho de inferência de modelo, e quais são as configurações ideais para modelos MoE?
Termos relacionados do glossário
Links
A TreScout não desenvolveu esta ferramenta · nós a encontramos nas tendências do GitHub e a apresentamos. Esta página descreve o repositório em 2026-07-20: A contagem de estrelas e o nosso texto são daquele dia, o repositório pode ter mudado desde então. Consulte o link do repositório para ver o estado atual. Esta página foi traduzida automaticamente do original em turco · a versão turca é a que vale.