← Entdecken
Entdecken · GitHub · Airllm↑ +208 heute

Führen Sie riesige KI-Modelle mit 4 GB VRAM aus

AirLLM ermöglicht die Ausführung großer Sprachmodelle mit 70 Milliarden Parametern auf Grafikprozessoren mit nur 4 GB Videospeicher (VRAM). Diese Bibliothek nutzt Techniken zur Speicheroptimierung, um die Verwendung von Modellen mit hoher Kapazität und geringen Hardwareanforderungen zu ermöglichen.

Aktualisierungen

  • 6. September 2026: Sterne 33,307 → 33,755, neueste Version v4.0.0 (5. September 2026).
  • 31. August 2026: Sterne 31,598 → 33,307, neueste Version v3.3.0 (28. August 2026).
  • 19. August 2026: Sterne 30,796 → 31,598, neueste Version v3.2.0 (18. August 2026).
  • 12. August 2026: Sterne 29,265 → 30,796, neueste Version v3.1.0 (29. Juli 2026).

Was es bringt

  • Möglichkeit, Modelle mit 70B-Parametern mit 4 GB VRAM zu betreiben.
  • Möglichkeit zur Verwendung von 405B Llama3.1-Modellen mit 8 GB VRAM.
  • Bis zu dreifache Geschwindigkeitssteigerung durch blockbasierte Komprimierung.

Installation

Mit pip (PyPI)
pip install airllm

Wenn Sie nicht programmieren

🤖 Fügen Sie dies in Ihren Agenten ein (Claude Code · Codex · Antigravity)

Ich möchte ein Modell mit 70B-Parametern mithilfe der AirLLM-Bibliothek auf meiner Grafikkarte mit geringer VRAM-Kapazität ausführen. Für die Installation habe ich den Befehl pip install airllm verwendet. Wie kann ich mithilfe der AutoModel-Klasse die Python-Codestruktur erstellen, die zum Laden meines Modells und zur Ausgabe mit einer einfachen Texteingabe erforderlich ist? Ich weiß, dass ich sicherstellen muss, dass ich während des Vorgangs über genügend Speicherplatz verfüge. Können Sie mir die grundlegenden Schritte erklären, die ich befolgen muss, um den Vorgang zu starten?

Verwandte Begriffe aus dem Glossar

VRAMJupyter NotebooksLarge Language ModelsArtificial Intelligence
Für wen es gedacht istFür Benutzer mit begrenzten Hardwareressourcen, die große Sprachmodelle mit hoher Kapazität lokal ausführen möchten.
LizenzApache-2.0

Links

TreScout hat dieses Werkzeug nicht entwickelt · wir haben es in den GitHub-Trends gefunden und stellen es vor. Diese Seite beschreibt das Repository so, wie es am 2026-06-04 war: Die Anzahl der Sterne und unser Text stammen von diesem Tag, das Repository kann sich seitdem geändert haben. Den aktuellen Stand finden Sie über den Link zum Repository. Diese Seite wurde maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung.