32 GB VRAM
AMD Radeon AI PRO R9700
Sprachmodelle bis etwa 14 Mrd. Parameter in 8 Bit oder bis etwa 32 Mrd. Parameter in 4 Bit mit moderater Kontextlänge
Details ansehen Aktueller Preis im OnlineshopModellübersicht
Vergleichen Sie unsere vorkonfigurierten Modelle. Die wichtigste Auswahlfrage ist der Grafikspeicher: Er bestimmt, welche Modellgrößen auf einer Grafikkarte laufen. Die zweite ist die Plattform: NVIDIA mit CUDA oder AMD mit ROCm – entscheidend ist, was Ihre Software unterstützt. Für besondere Anforderungen besprechen wir gerne eine individuelle Lösung mit Ihnen.
32 GB VRAM
Sprachmodelle bis etwa 14 Mrd. Parameter in 8 Bit oder bis etwa 32 Mrd. Parameter in 4 Bit mit moderater Kontextlänge
Details ansehen Aktueller Preis im Onlineshop32 GB VRAM
Sprachmodelle bis etwa 14 Mrd. Parameter in 8 Bit oder bis etwa 32 Mrd. Parameter in 4 Bit mit moderater Kontextlänge
Details ansehen Aktueller Preis im Onlineshop48 GB VRAM
Sprachmodelle bis etwa 32 Mrd. Parameter in 8 Bit oder in 4 Bit mit langem Kontext
Details ansehen Aktueller Preis im Onlineshop72 GB VRAM
Sprachmodelle mit rund 70 Mrd. Parametern in 4 Bit, auch mit Kontextlängen um 32.000 Token
Details ansehen Aktueller Preis im OnlineshopAktuelle Preise und Konfiguration im HI-TECH-Onlineshop (hitech-gamer.com). Individuelle Angebote für Unternehmen auf Anfrage.
| Modell | VRAM pro GPU | Plattform | CPU | RAM | SSD | Preis | Geeignet für (Auszug) |
|---|---|---|---|---|---|---|---|
| Radeon AI PRO R9700 · 32 GB | 32 GB | ROCm | AMD Ryzen 9 9950X | 48 GB DDR5 | 4 TB M.2 SSD | im Onlineshop | Sprachmodelle bis etwa 14 Mrd. Parameter in 8 Bit oder bis etwa 32 Mrd. Parameter in 4 Bit mit moderater Kontextlänge |
| RTX PRO 4500 · 32 GB | 32 GB | CUDA | AMD Ryzen 9 9950X | 48 GB DDR5 | 4 TB M.2 SSD | im Onlineshop | Sprachmodelle bis etwa 14 Mrd. Parameter in 8 Bit oder bis etwa 32 Mrd. Parameter in 4 Bit mit moderater Kontextlänge |
| RTX PRO 5000 · 48 GB | 48 GB | CUDA | AMD Ryzen 9 9950X | 64 GB DDR5 | 4 TB M.2 SSD | im Onlineshop | Sprachmodelle bis etwa 32 Mrd. Parameter in 8 Bit oder in 4 Bit mit langem Kontext |
| RTX PRO 5000 · 72 GB | 72 GB | CUDA | AMD Ryzen 9 9950X | 128 GB DDR5 | 4 TB M.2 SSD | im Onlineshop | Sprachmodelle mit rund 70 Mrd. Parametern in 4 Bit, auch mit Kontextlängen um 32.000 Token |
Die passende Konfiguration hängt von Ihrer Software, dem Speicherbedarf und dem vorgesehenen Einsatz ab. Aktuelle Konfigurationen und Preise finden Sie im HI-TECH-Onlineshop; abweichende Ausstattungen stimmen wir gerne mit Ihnen ab.
Richtwerte für Sprachmodelle in 4 Bit. Berechnung und weitere Genauigkeiten
| Modellgröße | Bedarf ca. | Passende Klasse |
|---|---|---|
| 8 Mrd. Parameter | 7 GB | 32 GB |
| 14 Mrd. Parameter | 12 GB | 32 GB |
| 32 Mrd. Parameter | 23 GB | 32 GB |
| 70 Mrd. Parameter | 47 GB | 72 GB (48 GB grenzwertig) |
Unsere vorkonfigurierten KI Workstations bieten Ihnen einen direkten Einstieg. Sie benötigen eine andere Ausstattung oder Bauform?
Ob Multi-GPU-System für größere lokale Sprachmodelle, 19″-Racklösung oder individuell abgestimmte Hardware: Besprechen Sie Ihre Anforderungen mit uns. Gemeinsam klären wir die technischen Möglichkeiten und erstellen ein passendes Angebot für Ihr Vorhaben.
Individuelle Lösung anfragenEntscheidend sind die vorgesehene Software, das Modell, seine Quantisierung, die Kontextlänge und die Zahl gleichzeitiger Anfragen. Als Richtwert: Für Sprachmodelle bis etwa 32 Mrd. Parameter in 4 Bit reichen 32 GB Grafikspeicher, für dieselbe Modellgröße in 8 Bit oder mit langem Kontext sind 48 GB sinnvoll, für Modelle mit rund 70 Mrd. Parametern in 4 Bit 72 GB. Unsere Richtwerte-Tabelle im Wissensbereich zeigt die Berechnung.
Zur Richtwerte-TabelleStandardmäßig ist Windows 11 Pro installiert; Linux richten wir nach Vereinbarung ein. Dazu kommen die passenden Treiber für die Grafikkarte. Jedes System durchläuft vor der Auslieferung Hardware-Belastungstests. Die Konfiguration stimmen wir auf die Software ab, die Sie oder Ihr IT-Partner einsetzen möchten.
Mehr zu Qualität & ServiceDas hängt von Ihrer Software ab. NVIDIA-Grafikkarten nutzen CUDA, das von nahezu allen KI-Frameworks und -Anwendungen unterstützt wird. AMD-Grafikkarten nutzen ROCm, das von PyTorch und vielen Inferenz-Werkzeugen unterstützt wird, aber nicht von jeder Anwendung. Prüfen Sie vor dem Kauf, ob Ihre Software die gewählte Plattform unterstützt.
NVIDIA und AMD im VergleichJa, als individuelle Lösung. Multi-GPU-Systeme, 19″-Racklösungen und Wunschkonfigurationen stimmen wir im Gespräch ab. Dabei prüfen wir, ob Hardware und Software zusammenpassen – mehrere Grafikkarten bilden nicht automatisch einen gemeinsamen Speicher.
Individuelle Lösung anfragenDie vorkonfigurierten Modelle können Sie im HI-TECH-Onlineshop konfigurieren und bestellen. Für abweichende Ausstattungen, mehrere Systeme oder ein individuelles Angebot wenden Sie sich direkt an unser Sales-Team.
Zu den ModellenBei technischen Problemen mit dem gelieferten System steht Ihnen unser Team in Traun zur Verfügung. Den konkreten Leistungsumfang besprechen wir mit Ihnen vor dem Kauf.
Kontakt aufnehmenBeschreiben Sie uns Software, Modelle und Einsatzzweck. Unser Sales-Team klärt mit Ihnen die Anforderungen und erstellt ein passendes Angebot.