Wissen
Wie viel Grafikspeicher (VRAM) braucht ein lokales Sprachmodell?
VRAM-Bedarf lokaler Sprachmodelle berechnen: Formel, Rechenbeispiel und Richtwerte für 8 bis 70 Mrd. Parameter in 4 Bit, 8 Bit und BF16.
Die Formel
Der Grafikspeicherbedarf eines Sprachmodells im Betrieb (Inferenz) setzt sich aus drei Teilen zusammen:
Bedarf ≈ Modellgewichte + KV-Cache + Laufzeitreserve
- Modellgewichte = Anzahl Parameter × Bit pro Gewicht ÷ 8. Ein Modell mit 8 Mrd. Parametern in BF16 (16 Bit) belegt also 8 × 16 ÷ 8 = 16 GB.
- KV-Cache = Speicher für den Kontext, also für die bisher verarbeiteten Token. Er wächst linear mit der Kontextlänge und der Zahl gleichzeitiger Anfragen: 2 × Schichten × KV-Köpfe × Kopfdimension × 2 Byte × Anzahl Token.
- Laufzeitreserve für Software, Zwischenergebnisse und Puffer. Wir rechnen pauschal mit 1,5 GB.
Rechenbeispiel: 70 Mrd. Parameter in 4 Bit
Ein Modell der 70-Mrd.-Klasse (z. B. Llama 3.3 70B mit 70,6 Mrd. Parametern, 80 Schichten, 8 KV-Köpfen und Kopfdimension 128) in einer gängigen 4-Bit-Quantisierung mit rund 4,8 Bit pro Gewicht:
- Gewichte: 70,6 × 4,8 ÷ 8 ≈ 42,4 GB
- KV-Cache pro Token: 2 × 80 × 8 × 128 × 2 Byte = 327.680 Byte ≈ 0,33 MB
- KV-Cache für 8.192 Token: ≈ 2,7 GB – für 32.768 Token bereits ≈ 10,7 GB
- Reserve: 1,5 GB
Ergebnis: rund 47 GB bei 8.192 Token Kontext und rund 55 GB bei 32.768 Token. Eine Karte mit 48 GB ist damit grenzwertig, 72 GB bieten ausreichend Reserve.
Richtwerte-Tabelle
Die Tabelle wendet die Formel auf vier verbreitete Modellgrößen an. „passt“ bedeutet: Der Bedarf liegt bei höchstens 90 % des Grafikspeichers. „knapp“: Er passt rechnerisch, lässt aber kaum Reserve.
| Modellgröße (Beispiel) | Genauigkeit | Gewichte | KV-Cache | Gesamt ca. | 32 GB | 48 GB | 72 GB |
|---|---|---|---|---|---|---|---|
| 8 Mrd. Parameter (Llama 3.1 8B) | 4 Bit | 4,8 | 1,1 | 7 | passt | passt | passt |
| 8 Mrd. Parameter (Llama 3.1 8B) | 8 Bit | 8,5 | 1,1 | 11 | passt | passt | passt |
| 8 Mrd. Parameter (Llama 3.1 8B) | BF16 | 16,1 | 1,1 | 19 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | 4 Bit | 8,8 | 1,6 | 12 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | 8 Bit | 15,6 | 1,6 | 19 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | BF16 | 29,4 | 1,6 | 33 | – | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | 4 Bit | 19,5 | 2,1 | 23 | passt | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | 8 Bit | 34,5 | 2,1 | 38 | – | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | BF16 | 65,0 | 2,1 | 69 | – | – | knapp |
| 70 Mrd. Parameter (Llama 3.3 70B) | 4 Bit | 42,4 | 2,7 | 47 | – | knapp | passt |
| 70 Mrd. Parameter (Llama 3.3 70B) | 8 Bit | 75,0 | 2,7 | 79 | – | – | – |
| 70 Mrd. Parameter (Llama 3.3 70B) | BF16 | 141,2 | 2,7 | 145 | – | – | – |
Mit langem Kontext (32.768 Token) steigt der Bedarf deutlich:
| Modellgröße (Beispiel) | Genauigkeit | Gewichte | KV-Cache | Gesamt ca. | 32 GB | 48 GB | 72 GB |
|---|---|---|---|---|---|---|---|
| 8 Mrd. Parameter (Llama 3.1 8B) | 4 Bit | 4,8 | 4,3 | 11 | passt | passt | passt |
| 8 Mrd. Parameter (Llama 3.1 8B) | 8 Bit | 8,5 | 4,3 | 14 | passt | passt | passt |
| 8 Mrd. Parameter (Llama 3.1 8B) | BF16 | 16,1 | 4,3 | 22 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | 4 Bit | 8,8 | 6,4 | 17 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | 8 Bit | 15,6 | 6,4 | 24 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | BF16 | 29,4 | 6,4 | 37 | – | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | 4 Bit | 19,5 | 8,6 | 30 | knapp | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | 8 Bit | 34,5 | 8,6 | 45 | – | knapp | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | BF16 | 65,0 | 8,6 | 75 | – | – | – |
| 70 Mrd. Parameter (Llama 3.3 70B) | 4 Bit | 42,4 | 10,7 | 55 | – | – | passt |
| 70 Mrd. Parameter (Llama 3.3 70B) | 8 Bit | 75,0 | 10,7 | 87 | – | – | – |
| 70 Mrd. Parameter (Llama 3.3 70B) | BF16 | 141,2 | 10,7 | 153 | – | – | – |
Was die Tabelle nicht abbildet
- Mehrere gleichzeitige Anfragen: Jede parallele Anfrage braucht ihren eigenen KV-Cache. Bei zehn Nutzern mit je 8.192 Token vervielfacht sich dieser Anteil. Inferenz-Server wie vLLM verwalten den Cache effizient, der Grundbedarf bleibt aber bestehen.
- Quantisierter KV-Cache: Manche Werkzeuge speichern den Kontext in 8 Bit statt 16 Bit und halbieren so diesen Anteil.
- Andere Architekturen: Mixture-of-Experts-Modelle müssen meist vollständig im Speicher liegen, auch wenn pro Token nur ein Teil der Parameter rechnet. Ältere Modelle ohne gruppierte Attention (GQA) haben einen deutlich größeren KV-Cache.
- Training und Fine-Tuning brauchen ein Vielfaches – siehe Fine-Tuning: Wie viel Grafikspeicher?.
Speicher bestimmt, was läuft – Bandbreite, wie schnell
Mehr Grafikspeicher ist eine Kapazitätsreserve: größere Modelle, längere Kontexte, mehr gleichzeitige Nutzer. Wie viele Token pro Sekunde ein Modell erzeugt, hängt dagegen vor allem von der Speicherbandbreite ab, weil für jedes erzeugte Token die Gewichte aus dem Speicher gelesen werden. Für belastbare Leistungsangaben braucht es Tests mit der konkreten Software und Konfiguration.
So nutzen Sie die Werte für Ihre Auswahl
- Modell und Genauigkeit festlegen, die Ihre Software einsetzen soll.
- Benötigte Kontextlänge und Zahl gleichzeitiger Anfragen abschätzen.
- Bedarf aus der Tabelle ablesen und mindestens 10 % Reserve einplanen.
- Prüfen, ob die Software die Plattform unterstützt – NVIDIA oder AMD?
Gerne rechnen wir das für Ihr konkretes Vorhaben gemeinsam durch.
Fragen und Antworten
Reichen 32 GB VRAM für ein 70B-Modell?
Nein. Ein Modell mit 70 Mrd. Parametern belegt schon in 4 Bit rund 42 GB nur für die Gewichte. Mit Kontext und Reserve sind es etwa 47 GB. Dafür ist die 72-GB-Klasse oder ein System mit mehreren Grafikkarten nötig.
Wird ein Modell mit mehr VRAM schneller?
Nicht automatisch. Mehr Grafikspeicher erlaubt größere Modelle, längere Kontexte oder mehr gleichzeitige Anfragen. Die Geschwindigkeit der Texterzeugung hängt vor allem von der Speicherbandbreite und der Rechenleistung der Grafikkarte ab.
Kann ich den Speicher mehrerer Grafikkarten addieren?
Nur eingeschränkt. Viele Inferenz-Werkzeuge können ein Modell auf mehrere Grafikkarten verteilen. Die Kapazitäten bilden aber keinen frei nutzbaren gemeinsamen Speicher, und die Kommunikation zwischen den Karten kostet Leistung. Ob und wie gut das funktioniert, hängt von Software und Hardware ab.
Was passiert, wenn der Grafikspeicher nicht reicht?
Manche Werkzeuge lagern dann Teile des Modells in den Arbeitsspeicher des Systems aus. Das funktioniert, ist aber deutlich langsamer. Für den produktiven Einsatz sollte das Modell samt Kontext vollständig in den Grafikspeicher passen.
Quellen
- Meta Llama 3.1 8B – Modellkonfiguration (Hugging Face)
- Qwen2.5 32B – Modellkonfiguration (Hugging Face)
- Meta Llama 3.3 70B – Modellkonfiguration (Hugging Face)
- llama.cpp – Quantisierungsformate (GGUF)
- Kwon et al.: Efficient Memory Management for Large Language Model Serving with PagedAttention (vLLM), 2023