Modèles d'intelligence artificielle géants sur ordinateur personnel
FlashML-org/FreeToken est une bibliothèque permettant d'exécuter rapidement et efficacement des modèles d'intelligence artificielle à grande échelle de type centre de données sur des ordinateurs personnels. Elle permet aux utilisateurs d'utiliser des modèles de mélange d'experts (Mixture of Experts, MoE) dépassant 290 milliards de paramètres à des vitesses interactives sur du matériel standard.
Mises à jour
- 6 novembre 2026: Étoiles 15,664 → 16,721, dernière version v0.2.1 (26 octobre 2026).
- 2 novembre 2026: Étoiles 15,543 → 15,664, dernière version v0.2.1 (26 octobre 2026).
Ce que ça vous apporte
- Combine les ressources matérielles utilisées comme une seule infrastructure d'intelligence artificielle.
- Offre une gestion dynamique des ressources entre la mémoire de la carte graphique (VRAM) et la mémoire principale.
- Exécute de grands modèles d'architecture de mélange d'experts (MoE) sur des appareils locaux à des vitesses interactives.
Installation
uv pip install "freetoken[accel]"git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
uv venv && source .venv/bin/activate
uv pip install -e ".[accel]"Si vous ne codez pas
Vous devez installer la bibliothèque FreeToken, qui permet d'exécuter de grands modèles d'intelligence artificielle sur un ordinateur local. Pour l'installer avec le gestionnaire de paquets rapide uv, vous pouvez utiliser la commande uv pip install "freetoken[accel]". Si vous préférez compiler directement à partir du code source, vous pouvez exécuter la séquence de commandes git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken uv venv && source .venv/bin/activate uv pip install -e ".[accel]"
Dépôt : https://github.com/FlashML-org/FreeToken. Base-toi sur les instructions officielles du fichier README de ce dépôt pour l'installation et l'exécution.
Avant de commencer, vérifie quel système d'exploitation nous utilisons et si les outils nécessaires (ex: Python, Node.js, Git, Docker) sont installés. Installe ceux qui manquent étape par étape selon ce système.
Crée un nouveau dossier vide pour travailler. Ne touche pas aux fichiers en dehors de ce dossier et ne supprime rien. Avant chaque commande, décris ce que tu vas faire en une phrase.
Dis-moi ce que je devrais voir à l'écran à la fin de chaque étape. Si une erreur survient, je te copierai le message d'erreur tel quel et nous la corrigerons ensemble.
Termes liés du glossaire
Liens
TreScout n'a pas développé cet outil · nous l'avons repéré dans les tendances GitHub et présenté. Cette page décrit le dépôt tel qu'il était le 2026-11-02 : Le nombre d'étoiles et notre texte datent de ce jour, le dépôt a pu changer depuis. Consultez le lien du dépôt pour l'état actuel. Le texte de présentation a été préparé avec l’IA à partir de la propre documentation du dépôt et cette page a été traduite automatiquement depuis l’original turc · la version turque fait foi.