Ejecute modelos de IA gigantes con 4 GB de VRAM

Qué aporta

• Ejecución de modelos de 70B con 4 GB de VRAM: La potencia de poder abrir modelos de alto parámetro como Llama 3 70B, Qwen o DeepSeek incluso en tarjetas gráficas de gama de entrada GTX 1650 o RTX 3050.
• Soporte para Llama 3.1 de 405B: la capacidad de ejecutar modelos de 405 mil millones de parámetros, que requieren clústeres de GPU de cientos de miles de dólares en centros de datos, en ordenadores personales con 8 GB de VRAM.
• Ejecución basada en capas (Layer-wise Execution): En lugar de cargar todo el modelo en la VRAM, supera el cuello de botella de la VRAM cargando y procesando las capas secuencialmente desde el disco a la memoria.
• Hasta 3 veces más velocidad con compresión basada en bloques: acelera la transferencia de datos del disco a la GPU leyendo los pesos del modelo en bloques optimizados en el SSD NVMe.
• Precisión completa sin pérdida por calidad de cuantización: Permite realizar inferencias incluso con la precisión original de 16 bits (bfloat16) si se desea, sin necesidad de comprimir los pesos a 4 bits.

Instalación

pip install airllm

Arquitectura técnica y principio de funcionamiento

• La naturaleza secuencial de las capas Transformer: Una red Transformer consta de 80 capas independientes. Cada capa toma como entrada la salida tensorial de la capa anterior. Teóricamente, no es obligatorio que todo el modelo permanezca en la memoria.
• Descarga secuencial por capas (Sequential Offloading): AirLLM carga en la VRAM únicamente una sola capa calculada en ese momento (aproximadamente 1.5 GB). Cuando finaliza el cálculo de propagación hacia adelante (forward pass) de dicha capa, se libera la memoria y se carga la siguiente capa desde el disco.
• Compromiso entre velocidad y memoria (Trade-off): Esta arquitectura no está diseñada para chats interactivos que generan decenas de tokens por segundo, sino que es una herramienta de ahorro excepcional para procesos de análisis de datos por lotes, razonamiento profundo, traducción, generación de datos sintéticos y evaluación de modelos (evals).
• Lectura de archivos mapeados en memoria (mmap): conecta directamente los tensores de PyTorch al disco mediante el método mmap, aprovechando directamente el ancho de banda del SSD NVMe sin saturar innecesariamente la memoria RAM del sistema.

Ejemplo de uso en Python

AirLLM tiene una sintaxis de Python extremadamente sencilla, muy similar a la API AutoModel de Hugging Face:

Si no programa

Preguntas frecuentes

• ¿Qué tan rápido es ejecutar un modelo con AirLLM? Como AirLLM transfiere constantemente las capas entre el disco y la GPU, la velocidad de generación de tokens depende directamente de la velocidad de lectura de su disco SSD NVMe. En un SSD Gen4 típico, un modelo de 70B funciona a una velocidad de 1 a 3 tokens por segundo. Aunque esta velocidad es lenta para un chat interactivo, es única para ejecutar modelos gigantescos localmente con un coste de hardware cero.
• ¿Cuánto espacio libre en disco se necesita para AirLLM? Un modelo de 70B parámetros requiere aproximadamente 140 GB de espacio en disco en formato flotante de 16 bits. En las versiones cuantizadas de 4 bits, este espacio se reduce a unos 35-40 GB. Para el modelo de 405B, se deben asignar al menos 800 GB de espacio libre en disco NVMe.
• ¿Puedo utilizar los pesos originales del modelo sin realizar cuantización? Sí. Una de las mayores ventajas de AirLLM es que elimina la necesidad de cuantización. Dado que la limitación de VRAM se resuelve capa por capa, puede ejecutar los pesos originales de 16 bits sin experimentar ninguna pérdida de razonamiento o precisión.
• ¿Funciona AirLLM en Mac con Apple Silicon o solo en CPU? AirLLM está optimizado principalmente para la aceleración con CUDA (GPU NVIDIA). Sin embargo, también admite de forma experimental la ejecución en CPU y las capas de MPS (Metal de Apple Silicon). El rendimiento más alto se obtiene con un SSD NVMe rápido y una tarjeta gráfica NVIDIA.

Términos relacionados del glosario

Enlaces

• Repositorio en GitHub →
• Leer en turco →