Anwendung
Interne Dokumentensuche mit KI (RAG): Hardware-Anforderungen
Hardware für einen internen KI-Assistenten mit Zugriff auf Unternehmensdokumente (Retrieval-Augmented Generation): Komponenten, Speicherbedarf und Dimensionierung.
So funktioniert RAG
- Indexieren: Dokumente werden in Abschnitte zerlegt. Ein Embedding-Modell wandelt jeden Abschnitt in einen Vektor um, der in einer Vektordatenbank gespeichert wird.
- Suchen: Bei einer Frage findet das System die inhaltlich passendsten Abschnitte.
- Antworten: Das Sprachmodell erhält Frage und Fundstellen und formuliert eine Antwort mit Bezug auf die Quellen.
Was welche Ressource braucht
| Komponente | Hauptressource | Größenordnung |
|---|---|---|
| Sprachmodell | Grafikspeicher | je nach Modell 8 bis über 47 GB (siehe Richtwerte) |
| Kontext mit Fundstellen | Grafikspeicher (KV-Cache) | wächst mit Kontextlänge und Nutzerzahl |
| Embedding-Modell | Grafikspeicher oder Prozessor | meist unter 2 GB |
| Vektordatenbank | Arbeitsspeicher und SSD | abhängig von Dokumentenmenge |
| Dokumentenablage | SSD | abhängig von Dokumentenmenge |
Dimensionierung
- Kontextlänge einplanen: RAG gibt dem Modell mehrere Textstellen mit. 8.000 bis 32.000 Token Kontext sind üblich. Bei einem Modell mit 32 Mrd. Parametern sind das rund 2 bis 9 GB zusätzlicher Grafikspeicher pro Anfrage.
- Gleichzeitige Nutzer: Jede parallele Anfrage braucht eigenen Kontextspeicher. Planen Sie Reserve für Spitzenzeiten.
- Arbeits- und Massenspeicher: Große Dokumentenbestände brauchen ausreichend Arbeitsspeicher für die Vektordatenbank und schnellen SSD-Speicher.
Typische Konfigurationen
- Kleines Team, Modell bis 32 Mrd. Parameter in 4 Bit: 32 GB Grafikspeicher, bei langen Kontexten 48 GB.
- Abteilung mit mehreren gleichzeitigen Nutzern: 48 GB Grafikspeicher.
- Großes Modell (rund 70 Mrd. Parameter) für anspruchsvolle Antworten: 72 GB Grafikspeicher.
- Viele Nutzer oder mehrere Modelle parallel: Multi-GPU- oder Racklösung nach Abstimmung.
Für die Dimensionierung helfen uns: Anzahl und Umfang der Dokumente, erwartete Nutzerzahl, gewünschtes Modell und eingesetzte Software.