Anwendung
KI Workstation für lokale Sprachmodelle (LLMs)
Hardware für lokale Sprachmodelle auswählen: Modellgröße, Quantisierung, Kontextlänge und Nutzerzahl bestimmen den Grafikspeicher. Richtwerte und passende Workstations.
Vier Fragen bestimmen die Hardware
- Welches Modell? Die Parameterzahl ist der größte Einzelfaktor. Modelle mit 8, 14, 32 und 70 Mrd. Parametern sind gängige Größenklassen offener Modelle.
- Welche Genauigkeit? 4-Bit-Quantisierung braucht etwa ein Viertel des Speichers der vollen BF16-Genauigkeit, bei für viele Aufgaben geringem Qualitätsverlust.
- Welche Kontextlänge? Lange Dokumente oder Gesprächsverläufe brauchen zusätzlichen Speicher für den KV-Cache – bei einem 70B-Modell rund 10,7 GB für 32.768 Token.
- Wie viele gleichzeitige Anfragen? Jede parallele Anfrage hat ihren eigenen Kontext.
Richtwerte für die Auswahl
| Modellgröße (Beispiel) | Genauigkeit | Gewichte | KV-Cache | Gesamt ca. | 32 GB | 48 GB | 72 GB |
|---|---|---|---|---|---|---|---|
| 8 Mrd. Parameter (Llama 3.1 8B) | 4 Bit | 4,8 | 1,1 | 7 | passt | passt | passt |
| 8 Mrd. Parameter (Llama 3.1 8B) | 8 Bit | 8,5 | 1,1 | 11 | passt | passt | passt |
| 8 Mrd. Parameter (Llama 3.1 8B) | BF16 | 16,1 | 1,1 | 19 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | 4 Bit | 8,8 | 1,6 | 12 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | 8 Bit | 15,6 | 1,6 | 19 | passt | passt | passt |
| 14 Mrd. Parameter (Qwen2.5 14B) | BF16 | 29,4 | 1,6 | 33 | – | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | 4 Bit | 19,5 | 2,1 | 23 | passt | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | 8 Bit | 34,5 | 2,1 | 38 | – | passt | passt |
| 32 Mrd. Parameter (Qwen2.5 32B) | BF16 | 65,0 | 2,1 | 69 | – | – | knapp |
| 70 Mrd. Parameter (Llama 3.3 70B) | 4 Bit | 42,4 | 2,7 | 47 | – | knapp | passt |
| 70 Mrd. Parameter (Llama 3.3 70B) | 8 Bit | 75,0 | 2,7 | 79 | – | – | – |
| 70 Mrd. Parameter (Llama 3.3 70B) | BF16 | 141,2 | 2,7 | 145 | – | – | – |
Die Berechnung und weitere Varianten erklären wir im Artikel Wie viel Grafikspeicher braucht ein lokales Sprachmodell?
Geschwindigkeit: Bandbreite zählt
Beim Erzeugen jedes Tokens werden die Modellgewichte aus dem Grafikspeicher gelesen. Deshalb bestimmt die Speicherbandbreite der Grafikkarte maßgeblich, wie schnell Text entsteht. Mehr Grafikspeicher allein macht ein Modell nicht schneller, ermöglicht aber größere Modelle und mehr Nutzer.
Software und Plattform
Prüfen Sie, ob Ihre Software die Grafikkarte, das Betriebssystem und die Treiberversion unterstützt. Das ist besonders beim Vergleich von NVIDIA (CUDA) und AMD (ROCm) relevant – siehe NVIDIA oder AMD für KI?
Größere Anforderungen
Multi-GPU-Systeme können je nach Software Modelle auf mehrere Grafikkarten verteilen. Die Speicherkapazitäten bilden dabei keinen frei nutzbaren gemeinsamen Speicher. Für Modelle jenseits von 72 GB oder viele gleichzeitige Nutzer stimmen wir eine individuelle Lösung mit Ihnen ab.
Fragen und Antworten
Welche Software brauche ich, um ein Sprachmodell lokal zu betreiben?
Verbreitet sind Ollama und llama.cpp für den Einstieg und Einzelplätze sowie vLLM für den Betrieb mit mehreren gleichzeitigen Nutzern. Alle drei unterstützen NVIDIA-Grafikkarten; für AMD-Grafikkarten gibt es ROCm-Unterstützung.
Wie viele Nutzer kann eine Workstation bedienen?
Das hängt von Modellgröße, Kontextlänge und erwarteter Antwortzeit ab. Jede gleichzeitige Anfrage braucht zusätzlichen Grafikspeicher für ihren Kontext. Für mehrere Nutzer lohnt sich mehr Grafikspeicher als Reserve und ein Inferenz-Server, der Anfragen effizient bündelt.