Modèles d'IA sur appareil local
Le projet de démonstration Bonsai fournit un ensemble d'outils conçu pour simplifier les processus de déploiement de modèles d'apprentissage automatique. Le logiciel aide les développeurs à optimiser leurs processus d'application en transformant des architectures de modèles complexes en flux de travail gérables.
Mises à jour
- 19 septembre 2026: Étoiles 1,587 → 2,706.
Ce que ça vous apporte
- Exécute des modèles hautes performances localement avec une faible utilisation de la mémoire.
- Il offre des fonctionnalités avancées telles que le traitement visuel et le covoiturage.
- Offre une large compatibilité avec différentes architectures matérielles.
Installation
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
# (Optional) Choose a model size: 27B (default), 8B, 4B, or 1.7B
export BONSAI_MODEL=27B
# Set your HuggingFace token (only required for 27B while its repos are private)
export BONSAI_TOKEN="hf_your_token_here"
# One command does everything: installs deps, downloads models + binaries
./setup.shExécution
./scripts/start_llama_server.sh # http://localhost:8080
# Serve a different model size
BONSAI_MODEL=4B ./scripts/start_llama_server.shSi vous ne codez pas
Je souhaite exécuter des modèles d'IA sur mon appareil local à l'aide du projet bonsai-demo. Après avoir cloné le référentiel git requis pour l'installation, je dois définir les informations de mon jeton Hugging Face et télécharger les dépendances et les modèles avec la commande ./setup.sh. Ensuite, en utilisant la commande ./scripts/start_llama_server.sh, je peux mettre en place le serveur local et interagir avec l'IA via le port 8080 via mon navigateur.
Dépôt : https://github.com/PrismML-Eng/Bonsai-demo. Base-toi sur les instructions officielles du fichier README de ce dépôt pour l'installation et l'exécution.
Avant de commencer, vérifie quel système d'exploitation nous utilisons et si les outils nécessaires (ex: Python, Node.js, Git, Docker) sont installés. Installe ceux qui manquent étape par étape selon ce système.
Crée un nouveau dossier vide pour travailler. Ne touche pas aux fichiers en dehors de ce dossier et ne supprime rien. Avant chaque commande, décris ce que tu vas faire en une phrase.
Si une clé API est nécessaire, ne me demande pas de l'écrire dans la conversation. Montre-moi comment l'ajouter au fichier .env et assure-toi que ce fichier n'est pas envoyé sur Git.
Dis-moi ce que je devrais voir à l'écran à la fin de chaque étape. Si une erreur survient, je te copierai le message d'erreur tel quel et nous la corrigerons ensemble.
Termes liés du glossaire
Liens
TreScout n'a pas développé cet outil · nous l'avons repéré dans les tendances GitHub et présenté. Cette page décrit le dépôt tel qu'il était le 2026-07-17 : Le nombre d'étoiles et notre texte datent de ce jour, le dépôt a pu changer depuis. Consultez le lien du dépôt pour l'état actuel. Le texte de présentation a été préparé avec l’IA à partir de la propre documentation du dépôt et cette page a été traduite automatiquement depuis l’original turc · la version turque fait foi.