Motor de inferência rápida para modelos de inteligência artificial
lightseekorg/tokenspeed é um motor de inferência de alto desempenho desenvolvido para grandes modelos de linguagem (LLM). Escrito em Python, este projeto visa acelerar os processos de previsão de modelos de inteligência artificial.
Atualizações
- 16 de outubro de 2026: Estrelas 2,608 → 2,613, versão mais recente v0.1.1 (6 de outubro de 2026).
O que você ganha
- oferece planos de controle e execução baseados em C++ e Python
- opera com alto desempenho para grandes modelos de linguagem
- inclui mecanismo de plugin para aceleradores de hardware
Como começar
Para consultar a documentação oficial e começar passo a passo, você pode seguir os guias no site da LightSeek.
Termos relacionados do glossário
Links
A TreScout não desenvolveu esta ferramenta · nós a encontramos nas tendências do GitHub e a apresentamos. Esta página descreve o repositório em 2026-10-16: A contagem de estrelas e o nosso texto são daquele dia, o repositório pode ter mudado desde então. Consulte o link do repositório para ver o estado atual. O texto de apresentação foi preparado com IA a partir da própria documentação do repositório e esta página foi traduzida automaticamente do original em turco · a versão turca é a que vale.