Grandes modelos de inteligência artificial em computadores pessoais
FlashML-org/FreeToken é uma biblioteca que permite executar grandes modelos de inteligência artificial em escala de data center em computadores pessoais de forma rápida e eficiente. Ela permite que os usuários utilizem modelos de mistura de especialistas (Mixture of Experts, MoE) com mais de 290 bilhões de parâmetros em velocidades interativas em hardware padrão.
Atualizações
- 6 de novembro de 2026: Estrelas 15,664 → 16,721, versão mais recente v0.2.1 (26 de outubro de 2026).
- 2 de novembro de 2026: Estrelas 15,543 → 15,664, versão mais recente v0.2.1 (26 de outubro de 2026).
O que você ganha
- Combina os recursos de hardware utilizados como uma única infraestrutura de inteligência artificial.
- Oferece gerenciamento dinâmico de recursos entre a memória de vídeo da placa gráfica (VRAM) e a memória principal.
- Executa modelos de arquitetura de mistura de especialistas (MoE) de grande porte em dispositivos locais em velocidades interativas.
Instalação
uv pip install "freetoken[accel]"git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
uv venv && source .venv/bin/activate
uv pip install -e ".[accel]"Se você não programa
Você precisa instalar a biblioteca FreeToken, que permite executar grandes modelos de inteligência artificial em um computador local. Para fazer a instalação usando o gerenciador de pacotes rápido uv, você pode usar o comando uv pip install "freetoken[accel]". Se preferir compilar diretamente a partir do código-fonte, você pode executar a sequência de comandos git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken uv venv && source .venv/bin/activate uv pip install -e ".[accel]".
Repositório: https://github.com/FlashML-org/FreeToken. Baseie-se nas instruções oficiais no arquivo README deste repositório para a instalação e execução.
Antes de começar, verifique em qual sistema operacional estamos e se as ferramentas necessárias (ex: Python, Node.js, Git, Docker) estão instaladas. Instale as que faltarem passo a passo de acordo com este sistema.
Crie uma pasta nova e vazia para trabalhar. Não toque em arquivos fora desta pasta e não exclua nada. Antes de executar cada comando, diga o que você vai fazer em uma frase.
Diga-me o que devo ver na tela ao final de cada etapa. Se ocorrer um erro, colarei a mensagem de erro para você exatamente como ela é, e vamos corrigi-la juntos.
Termos relacionados do glossário
Links
A TreScout não desenvolveu esta ferramenta · nós a encontramos nas tendências do GitHub e a apresentamos. Esta página descreve o repositório em 2026-11-02: A contagem de estrelas e o nosso texto são daquele dia, o repositório pode ter mudado desde então. Consulte o link do repositório para ver o estado atual. O texto de apresentação foi preparado com IA a partir da própria documentação do repositório e esta página foi traduzida automaticamente do original em turco · a versão turca é a que vale.