Exécutez des modèles d'IA géants avec 4 Go de VRAM
AirLLM permet d'exécuter de grands modèles de langage avec 70 milliards de paramètres sur des unités de traitement graphique avec seulement 4 Go de mémoire vidéo (VRAM). Cette bibliothèque utilise des techniques d'optimisation de la mémoire pour permettre l'utilisation de modèles haute capacité avec de faibles exigences matérielles.
Mises à jour
- 6 août 2026: Étoiles 27,522 → 29,265, dernière version v3.1.0 (29 juillet 2026).
- 4 août 2026: Étoiles 25,416 → 27,522, dernière version v3.1.0 (29 juillet 2026).
- 2 août 2026: Étoiles 19,113 → 25,416, dernière version v3.1.0 (29 juillet 2026).
Mise à jour
- 6 août 2026 : Étoile 27 522 → 29 265, dernière version v3.1.0 (29 juillet 2026).
- 4 août 2026 : Étoile 25 416 → 27 522, dernière version v3.1.0 (29 juillet 2026).
- 2 août 2026 : Étoile 19 113 → 25 416, dernière version v3.1.0 (29 juillet 2026).
Ce que ça vous apporte
- Possibilité d'exécuter des modèles avec des paramètres 70B avec 4 Go de VRAM.
- Possibilité d'utiliser des modèles 405B Llama3.1 avec 8 Go de VRAM.
- Augmentation de la vitesse jusqu'à 3 fois avec la compression basée sur les blocs.
Installation
pip install airllmExécution
from airllm import AutoModel
MAX_LENGTH = 128
# could use hugging face model repo id:
model = AutoModel.from_pretrained("garage-bAInd/Platypus2-70B-instruct")
# or use model's local path...
#model = AutoModel.from_pretrained("/home/ubuntu/.cache/huggingface/hub/models--garage-bAInd--Platypus2-70B-instruct/snapshots/b585e74bcaae02e52665d9ac6d23f4d0dbc81a0f")
input_text = [
'What is the capital of United States?',
#'I like',
]
input_tokens = model.tokenizer(input_text,
return_tensors="pt",
return_attention_mask=False,
truncation=True,
max_length=MAX_LENGTH,
padding=False)
generation_output = model.generate(
input_tokens['input_ids'].cuda(),
max_new_tokens=20,
use_cache=True,
return_dict_in_generate=True)
output = model.tokenizer.decode(generation_output.sequences[0])
print(output)Si vous ne codez pas
Je souhaite exécuter un modèle avec des paramètres 70B en utilisant la bibliothèque AirLLM sur ma carte graphique avec une faible capacité VRAM. J'ai utilisé la commande pip install airllm pour l'installation. Comment puis-je créer la structure de code Python nécessaire pour charger mon modèle et le générer avec une simple saisie de texte, à l'aide de la classe AutoModel ? Je sais que je dois m'assurer de disposer de suffisamment d'espace disque pendant le processus. Pouvez-vous expliquer les étapes de base que je dois suivre pour démarrer le processus ?
Termes liés du glossaire
Liens
TreScout n'a pas développé cet outil · nous l'avons repéré dans les tendances GitHub et présenté. Cette page décrit le dépôt tel qu'il était le 2026-06-04 : Le nombre d'étoiles et notre texte datent de ce jour, le dépôt a pu changer depuis. Consultez le lien du dépôt pour l'état actuel.