Inférence d'IA efficace sur processeur
Développé par Microsoft, BitNet propose un cadre d'inférence officiel pour les grands modèles de langage (LLM) 1 bit. Écrit en C++, cet outil vise à optimiser l'exécution de modèles à faible précision de bits.
Ce que ça vous apporte
- Exécute des modèles d'intelligence artificielle sur des processeurs d'ordinateur standard à grande vitesse et avec une faible consommation d'énergie.
- Permet d'utiliser des modèles de langage 1 bit compressés sur votre appareil local sans perte de qualité.
- Grâce à la prise en charge du mode dialogue, il permet de discuter directement avec les modèles téléchargés.
Installation
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet# (Recommended) Create a new conda environment
conda create -n bitnet-cpp python=3.10
conda activate bitnet-cpp
pip install -r requirements.txtExécution
# Manually download the model and run with local path
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s# Run inference with the quantized model
python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnvSi vous ne codez pas
Je souhaite exécuter un modèle d'intelligence artificielle 1-bit sur mon ordinateur à l'aide de l'infrastructure BitNet. Tout d'abord, guide-moi pour cloner le projet avec la commande 'git clone --recursive https://github.com/microsoft/BitNet.git' et accéder à son dossier, créer un environnement Python 3.10 avec le gestionnaire de paquets Conda et installer les dépendances requises. Ensuite, explique étape par étape, avec une simplicité accessible à quelqu'un qui n'a pas de connaissances en programmation, comment télécharger le modèle microsoft/BitNet-b1.58-2B-4T-gguf depuis la plateforme de modèles open source Hugging Face, le préparer avec 'setup_env.py', et enfin lancer le mode discussion à l'aide du script 'run_inference.py'.
Dépôt : https://github.com/microsoft/BitNet. Base-toi sur les instructions officielles du fichier README de ce dépôt pour l'installation et l'exécution.
Avant de commencer, vérifie quel système d'exploitation nous utilisons et si les outils nécessaires (ex: Python, Node.js, Git, Docker) sont installés. Installe ceux qui manquent étape par étape selon ce système.
Crée un nouveau dossier vide pour travailler. Ne touche pas aux fichiers en dehors de ce dossier et ne supprime rien. Avant chaque commande, décris ce que tu vas faire en une phrase.
Dis-moi ce que je devrais voir à l'écran à la fin de chaque étape. Si une erreur survient, je te copierai le message d'erreur tel quel et nous la corrigerons ensemble.
Termes liés du glossaire
Liens
TreScout n'a pas développé cet outil · nous l'avons repéré dans les tendances GitHub et présenté. Cette page décrit le dépôt tel qu'il était le 2026-10-12 : Le nombre d'étoiles et notre texte datent de ce jour, le dépôt a pu changer depuis. Consultez le lien du dépôt pour l'état actuel. Le texte de présentation a été préparé avec l’IA à partir de la propre documentation du dépôt et cette page a été traduite automatiquement depuis l’original turc · la version turque fait foi.