Exécutez des modèles d'IA géants avec 4 Go de VRAM
AirLLM permet d'exécuter de grands modèles de langage avec 70 milliards de paramètres sur des unités de traitement graphique avec seulement 4 Go de mémoire vidéo (VRAM). Cette bibliothèque utilise des techniques d'optimisation de la mémoire pour permettre l'utilisation de modèles haute capacité avec de faibles exigences matérielles.
Mises à jour
- 6 septembre 2026: Étoiles 33,307 → 33,755, dernière version v4.0.0 (5 septembre 2026).
- 31 août 2026: Étoiles 31,598 → 33,307, dernière version v3.3.0 (28 août 2026).
- 19 août 2026: Étoiles 30,796 → 31,598, dernière version v3.2.0 (18 août 2026).
- 12 août 2026: Étoiles 29,265 → 30,796, dernière version v3.1.0 (29 juillet 2026).
Ce que ça vous apporte
- Possibilité d'exécuter des modèles avec des paramètres 70B avec 4 Go de VRAM.
- Possibilité d'utiliser des modèles 405B Llama3.1 avec 8 Go de VRAM.
- Augmentation de la vitesse jusqu'à 3 fois avec la compression basée sur les blocs.
Installation
pip install airllmSi vous ne codez pas
Je souhaite exécuter un modèle avec des paramètres 70B en utilisant la bibliothèque AirLLM sur ma carte graphique avec une faible capacité VRAM. J'ai utilisé la commande pip install airllm pour l'installation. Comment puis-je créer la structure de code Python nécessaire pour charger mon modèle et le générer avec une simple saisie de texte, à l'aide de la classe AutoModel ? Je sais que je dois m'assurer de disposer de suffisamment d'espace disque pendant le processus. Pouvez-vous expliquer les étapes de base que je dois suivre pour démarrer le processus ?
Termes liés du glossaire
Liens
TreScout n'a pas développé cet outil · nous l'avons repéré dans les tendances GitHub et présenté. Cette page décrit le dépôt tel qu'il était le 2026-06-04 : Le nombre d'étoiles et notre texte datent de ce jour, le dépôt a pu changer depuis. Consultez le lien du dépôt pour l'état actuel. Cette page a été traduite automatiquement depuis l’original turc · la version turque fait foi.