Exécutez des modèles d'IA géants avec 4 Go de VRAM

Ce que ça vous apporte

• Exécution de modèles 70B avec 4 Go de VRAM : La puissance nécessaire pour exécuter des modèles à paramètres élevés tels que Llama 3 70B, Qwen ou DeepSeek, même sur des cartes graphiques GTX 1650 ou RTX 3050 d'entrée de gamme.
• Prise en charge de 405B Llama 3.1 : possibilité d'exécuter 405 milliards de modèles de paramètres qui nécessitent des centaines de milliers de dollars de clusters GPU dans des centres de données sur des ordinateurs personnels dotés de 8 Go de VRAM.
• Exécution par couche : au lieu d'insérer l'intégralité du modèle dans la VRAM, il surmonte le goulot d'étranglement de la VRAM en récupérant et en traitant séquentiellement les couches du disque vers la mémoire.
• Vitesse jusqu'à 3x avec compression basée sur les blocs : accélère le transfert de données du disque vers le GPU en lisant les poids des modèles sur le SSD NVMe dans des blocs optimisés.
• Précision totale sans perte de qualité de quantification : permet de raisonner même avec la précision d'origine de 16 bits (bfloat16) si vous le souhaitez, sans avoir à compresser les poids à 4 bits.

Installation

pip install airllm

Architecture technique et principe de fonctionnement

• Nature séquentielle des couches Transformer : Un réseau Transformer se compose de 80 couches indépendantes. Chaque couche prend en entrée la sortie tensorielle de la couche précédente. Il n’est théoriquement pas nécessaire que l’intégralité du modèle reste en mémoire.
• Streaming couche par couche (déchargement séquentiel) : AirLLM ne déplace qu'une seule couche actuellement calculée vers la VRAM (environ 1,5 Go). Lorsque le calcul de la passe avant de la couche concernée est terminé, la mémoire est vidée et la couche suivante est extraite du disque.
• Compromis entre vitesse et mémoire : cette architecture n'est pas destinée aux chats interactifs qui génèrent des dizaines de jetons par seconde ; Il s'agit d'un outil de sauvegarde unique pour les processus d'analyse de données en masse, de raisonnement approfondi, de traduction, de génération de données synthétiques et d'évaluation de modèles (évaluations).
• Lecture de fichiers mappés en mémoire (mmap) : connecte les tenseurs PyTorch directement au disque via la méthode mmap, en utilisant directement la bande passante du SSD NVMe sans gonfler inutilement la RAM du système.

Exemple d'utilisation de Python

AirLLM a une syntaxe Python très simple, très similaire à l'API Hugging Face AutoModel :

Si vous ne codez pas

Questions fréquemment posées

• À quelle vitesse est-il d’exécuter un modèle avec AirLLM ? Étant donné qu'AirLLM déplace constamment les couches entre le disque et le GPU, le taux de génération de jetons dépend directement de la vitesse de lecture de votre disque SSD NVMe. Sur un SSD Gen4 typique, le modèle 70B fonctionne à 1 à 3 jetons par seconde. Bien que cette vitesse soit lente pour le chat interactif, elle est unique pour exécuter des modèles géants localement sans coût matériel.
• Quelle quantité d’espace disque libre est requise pour AirLLM ? Un modèle avec des paramètres 70B nécessite environ 140 Go d'espace disque au format flottant 16 bits. Dans les versions quantifiées 4 bits, cet espace diminue à 35-40 Go. Pour le modèle 405B, au moins 800 Go d'espace disque NVMe libre doivent être alloués.
• Puis-je utiliser les poids du modèle d'origine sans quantification ? Oui. L’un des principaux avantages d’AirLLM est qu’il élimine le besoin de quantification. Étant donné que la contrainte VRAM est résolue couche par couche, vous pouvez exécuter les pondérations originales de 16 bits sans aucune perte de raisonnement ou de précision.
• AirLLM fonctionne-t-il uniquement sur Apple Silicon Mac ou CPU ? AirLLM est principalement optimisé pour l'accélération CUDA (NVIDIA GPU). Cependant, il prend également en charge expérimentalement l'exécution du processeur et les couches MPS (Apple Silicon Metal). L'efficacité la plus élevée est obtenue avec un SSD NVMe rapide et une carte graphique NVIDIA.

Termes liés du glossaire

Liens

• Dépôt GitHub →
• Lire en turc →