Wissen
Spark oder KI Workstation? Kompaktes KI-System und Grafikkarte im Vergleich
DGX Spark, RTX Spark oder KI Workstation mit eigener Grafikkarte? Speicher, Tempo, Software, Mehrbenutzerbetrieb und Erweiterbarkeit im sachlichen Vergleich.
Zwei Bauweisen, ein Ziel
Beide Gerätearten führen Sprachmodelle und andere KI-Anwendungen lokal aus. Sie lösen die Speicherfrage aber unterschiedlich:
- Spark-Systeme (DGX Spark, RTX Spark) haben einen Chip mit Prozessor und Grafik, die sich einen gemeinsamen Speicher von 64 oder 128 GB teilen.
- KI Workstations haben eine Grafikkarte mit eigenem, sehr schnellem Grafikspeicher (bei uns 32 bis 72 GB) und daneben den Arbeitsspeicher des Systems.
Der Vergleich auf einen Blick
| Kriterium | Spark-System | KI Workstation mit Grafikkarte |
|---|---|---|
| Speicher für Modelle | 64 oder 128 GB gemeinsam, davon ein Teil für System und Anwendungen | 32 bis 72 GB Grafikspeicher je Karte, mehrere Karten möglich |
| Speicherbandbreite | rund 273 GB/s (DGX Spark) | 640 bis 1.344 GB/s (unsere Modelle) |
| Textausgabe | langsam bei großen dichten Modellen | um ein Mehrfaches schneller, wenn das Modell in den Grafikspeicher passt |
| Gleichzeitige Nutzer | Einzelarbeitsplatz, kleine Teams | auch für mehrere Nutzer und Server-Betrieb |
| Betriebssystem | DGX OS (Linux, Arm64) oder Windows 11 on Arm | Windows 11 Pro oder Linux auf x86 |
| Erweiterbarkeit | keine; DGX Spark mit zweitem Gerät koppelbar | Grafikkarte, Arbeitsspeicher, SSD tauschbar |
| Platz, Leistungsaufnahme | 15 × 15 cm, Netzteil 240 W | Tower, Netzteil 1.000 W |
Warum die Bandbreite über das Tempo entscheidet
Beim Erzeugen jedes Wortteils (Token) liest die Hardware die Gewichte des Modells einmal aus dem Speicher. Eine einfache Obergrenze lautet deshalb: Token pro Sekunde ≈ Speicherbandbreite ÷ Größe der Modellgewichte. Praktisch werden 50 bis 80 % dieser Obergrenze erreicht.
| Modell (4 Bit) | Gewichte ca. | DGX Spark (273 GB/s) | RTX PRO 4500 (896 GB/s) | RTX PRO 5000 (1.344 GB/s) |
|---|---|---|---|---|
| 32 Mrd. Parameter | 20 GB | bis ca. 14 Token/s | bis ca. 46 Token/s | bis ca. 69 Token/s |
| 70 Mrd. Parameter | 42 GB | bis ca. 6 Token/s | passt nicht in 32 GB | bis ca. 32 Token/s (48 oder 72 GB) |
Theoretische Obergrenzen für einen Nutzer, gerechnet mit 4,8 Bit je Gewicht. Öffentliche Messungen auf DGX Spark liegen für ein dichtes 70-Mrd.-Modell bei etwa 3 bis 5 Token pro Sekunde. Zum Vergleich: Ein Mensch liest etwa 5 bis 8 Token pro Sekunde.
Ausnahme Mixture-of-Experts: Modelle wie gpt-oss-120b nutzen pro Token nur einen kleinen Teil ihrer Gewichte. Sie brauchen viel Speicher, aber wenig Bandbreite. Hier spielt DGX Spark seine Stärke aus: Messungen mit llama.cpp zeigen rund 50 bis 60 Token pro Sekunde. Mit rund 60 bis 65 GB passt gpt-oss-120b aber auch auf die RTX PRO 5000 mit 72 GB.
Das Einlesen langer Dokumente (Prefill) ist rechenlastig; dafür hat der Spark-Chip viel Rechenleistung. Spürbar langsam ist vor allem die Ausgabe langer Antworten.
Wann ein Spark-System die bessere Wahl ist
- Sie wollen sehr große Modelle testen, die in keinen einzelnen Grafikspeicher passen, etwa 70 Mrd. Parameter in 8 Bit oder Modelle über 100 Mrd. Parameter.
- Sie entwickeln KI-Anwendungen und Agenten und wollen sie später auf NVIDIA-Servern oder in der Cloud betreiben (DGX Spark).
- Ein Einzelarbeitsplatz genügt, und Tempo ist zweitrangig gegenüber Speichermenge.
- Platz, Lautstärke und Stromverbrauch sind wichtig, etwa im Büro oder Labor.
- Sie brauchen einen kompakten Windows-PC mit lokaler KI für Kreativ- und Büroarbeit (RTX Spark).
Wann eine KI Workstation die bessere Wahl ist
- Antworten sollen schnell kommen, etwa für einen internen Assistenten oder Programmierhilfe.
- Mehrere Personen sollen gleichzeitig mit dem Modell arbeiten.
- Ihre Software setzt x86-Windows oder x86-Linux voraus, oder Sie nutzen spezielle Treiber und Plug-ins.
- Sie wollen das System später aufrüsten, etwa mit einer zweiten oder größeren Grafikkarte.
- Sie trainieren oder fine-tunen regelmäßig und brauchen kurze Laufzeiten.
Und wenn beides zutrifft?
Viele Teams kombinieren: Ein Spark-System dient zum Ausprobieren großer Modelle, eine Workstation oder ein Server betreibt das ausgewählte Modell im Alltag. Beschreiben Sie uns Modelle, Nutzerzahl und Software. Wir sagen Ihnen, welche Bauweise passt. Den Speicherbedarf können Sie vorab mit dem VRAM-Rechner abschätzen.