Wissen
VRAM-Rechner: Wie viel Grafikspeicher braucht Ihr Sprachmodell?
Grafikspeicherbedarf für lokale Sprachmodelle berechnen: Modellgröße, Genauigkeit, Kontextlänge und Nutzerzahl wählen und die passende KI Workstation finden.
Geschätzter Bedarf–
- Modellgewichte
- Kontext (KV-Cache)
- Laufzeitreserve
Richtwert für den Betrieb (Inferenz) auf einer Grafikkarte, gerechnet mit FP16-Kontextspeicher und je Anfrage voller Kontextlänge. Keine Aussage zur Geschwindigkeit.
So rechnet der Rechner
- Modellgewichte = Parameter × Bit pro Gewicht ÷ 8. Ein Modell mit 32 Mrd. Parametern in 4 Bit (ca. 4,8 Bit je Gewicht) belegt rund 19,5 GB.
- Kontextspeicher (KV-Cache) = 2 × Schichten × KV-Köpfe × Kopfdimension × 2 Byte × Token × gleichzeitige Anfragen. Die Architekturdaten stammen aus den veröffentlichten Modellkonfigurationen.
- Laufzeitreserve: pauschal 1,5 GB.
Die Herleitung mit Rechenbeispiel finden Sie im Artikel Wie viel Grafikspeicher braucht ein lokales Sprachmodell?
Richtwerte auf einen Blick
| Modellgröße (Beispiel) | Genauigkeit | Gewichte | KV-Cache | Gesamt ca. | 32 GB | 48 GB | 72 GB |
|---|---|---|---|---|---|---|---|
| 8 Mrd. Parameter (Llama 3.1 8B) | 4 Bit | 4,8 | 1,1 | 7 | passt | passt | passt |
| 8 Mrd. Parameter (Llama 3.1 8B) | 8 Bit | 8,5 | 1,1 | 11 | passt | passt | passt |
| 8 Mrd. Parameter (Llama 3.1 8B) | BF16 | 16,1 | 1,1 | 19 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | 4 Bit | 8,8 | 1,6 | 12 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | 8 Bit | 15,6 | 1,6 | 19 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | BF16 | 29,4 | 1,6 | 33 | – | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | 4 Bit | 19,5 | 2,1 | 23 | passt | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | 8 Bit | 34,5 | 2,1 | 38 | – | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | BF16 | 65,0 | 2,1 | 69 | – | – | knapp |
| 70 Mrd. Parameter (Llama 3.3 70B) | 4 Bit | 42,4 | 2,7 | 47 | – | knapp | passt |
| 70 Mrd. Parameter (Llama 3.3 70B) | 8 Bit | 75,0 | 2,7 | 79 | – | – | – |
| 70 Mrd. Parameter (Llama 3.3 70B) | BF16 | 141,2 | 2,7 | 145 | – | – | – |
Fragen und Antworten
Wie genau ist der Rechner?
Er liefert Richtwerte auf Basis der veröffentlichten Modellarchitekturen und gängiger Quantisierungsformate. Der tatsächliche Bedarf hängt zusätzlich von der eingesetzten Software und ihren Einstellungen ab. Für eine verbindliche Auslegung prüfen wir Ihre konkrete Konfiguration.
Warum zählt jede gleichzeitige Anfrage mit voller Kontextlänge?
Das ist die sichere Annahme für die Planung. Inferenz-Server wie vLLM teilen den Kontextspeicher dynamisch auf; in der Praxis sind nicht alle Anfragen gleichzeitig voll ausgelastet. Der Rechner zeigt damit die obere Grenze.
Was, wenn mein Modell nicht in der Auswahl ist?
Wählen Sie die nächstgrößere Parameterklasse. Für Mixture-of-Experts-Modelle, Bild- und Videomodelle sowie Fine-Tuning gelten andere Faustregeln – sprechen Sie uns dazu an.