AI-Workstations und GPU-Server
Wir planen und bauen Computer für künstliche Intelligenz: leise AI-Workstations als Desktop und GPU-Server im 4U-Rack-Gehäuse. Sie führen lokale Sprachmodelle (LLM) aus, treiben RAG-Systeme an, dienen zum Fine-Tuning von Modellen und erzeugen Bilder und Videos. Jede Konfiguration stimmen wir auf Ihre Modelle, die Zahl der Nutzer und Ihr Budget ab.
Wofür eine AI-Workstation dient
Lokale Sprachmodelle (LLM)
Modelle wie Llama, Qwen, Mistral, Gemma oder DeepSeek auf eigener Hardware ausführen, mit Ollama, llama.cpp, LM Studio oder vLLM. Das Modell arbeitet als privater Assistent für Texte, Code und Dokumente.
RAG und Arbeit mit Firmendokumenten
Informationen suchen und Fragen auf Basis von Firmendokumenten, Verträgen oder technischer Dokumentation beantworten. Die Daten verlassen das Firmennetz nicht, was die Einhaltung der DSGVO und von Vertraulichkeitsvereinbarungen erleichtert.
Fine-Tuning und Training
Fine-Tuning mit LoRA und QLoRA, Training von Bildmodellen und Experimente in PyTorch. Diese Aufgaben brauchen mehr VRAM als die reine Ausführung und profitieren von mehreren Grafikkarten.
Bild- und Videogenerierung
Stable Diffusion, Flux und Videomodelle in ComfyUI. Mehr Grafikspeicher erlaubt höhere Auflösungen und mehrere gleichzeitig geladene Modelle.
Modellserver für das Team
Ein GPU-Server stellt Modelle vielen Nutzern über eine OpenAI-kompatible API bereit. Das Team nutzt den Assistenten im Browser, im Code-Editor oder in eigenen Anwendungen.
Eigene Hardware statt Cloud
Die Daten bleiben im Unternehmen. Anfragen, Dokumente und Quellcode gelangen nicht zu externen Diensten. Das ist wichtig für Kanzleien, Planungsbüros, medizinische Einrichtungen, Verwaltungen und überall dort, wo Berufsgeheimnis oder NDAs gelten.
Planbare Kosten. Die Hardware wird einmal gekauft, die Nutzung der Modelle wird nicht pro Token oder GPU-Stunde abgerechnet. Die Kosten verteilen sich auf Jahre der Nutzung, größere Aufträge lassen sich über Leasing finanzieren.
Volle Kontrolle. Sie wählen Modelle und Versionen selbst, es gibt keine Anfragelimits und keine Änderungen im Angebot eines Anbieters, und die Workstation arbeitet auch ohne Internetzugang.
AI-Workstation oder Rack-Server?
Beide bauen wir aus denselben Komponenten. Sie unterscheiden sich in der Zahl der Grafikkarten, im Aufstellort und in der Art der Nutzung.
| Merkmal | AI-Workstation (Desktop) | AI-Server im 4U-Rack |
|---|---|---|
| Grafikkarten | 1-2 GeForce RTX 5090 oder NVIDIA RTX PRO | 2-4 NVIDIA RTX PRO mit Blower-Kühlung |
| VRAM | 32-96 GB | 96-384 GB |
| Aufstellort | am Schreibtisch, leiser Betrieb | Serverraum oder Rack-Schrank, lauter Betrieb |
| Für wen | eine Person oder ein kleines Team | viele gleichzeitige Nutzer, Dauerbetrieb |
| Zugriff | direkt oder remote | über das Netzwerk, API für Anwendungen |
| Stromversorgung | normale 230-V-Steckdose | bei vier Karten eigener Stromkreis empfohlen |
AI-Workstations als Desktop
Eine AI-Workstation im Tower-Gehäuse arbeitet am Schreibtisch und braucht keinen Serverraum. Konfigurationen mit einer GeForce RTX 5090 (32 GB VRAM) eignen sich für lokale Sprachmodelle mit rund 30 Milliarden Parametern, für die Bildgenerierung und für Entwickler, die mit einem Code-Assistenten arbeiten.
Die Threadripper-Plattform nimmt zwei RTX 5090 oder eine RTX PRO 6000 mit 96 GB Speicher auf und lässt Raum für Erweiterungen in den kommenden Jahren. Jede Workstation eignet sich auch für GPU-Rendering und Grafikprogramme.
Konfigurationen mit mehreren Grafikkarten
| System | Prozessor | Grafikkarten | Speicher / Laufwerk | Einsatz |
|---|---|---|---|---|
| AI 2× RTX 5090 | Threadripper 9970X (32 Kerne) | 2× GeForce RTX 5090 · 64 GB VRAM | 256 GB DDR5 ECC · 4 TB NVMe | Modelle mit rund 70 Mrd. Parametern, LoRA-Fine-Tuning |
| AI 96 GB | Threadripper 9970X (32 Kerne) | RTX PRO 6000 Blackwell · 96 GB VRAM | 256 GB DDR5 ECC · 4 TB NVMe | Modelle mit über 100 Mrd. Parametern, langer Kontext |
Konfigurationen mit mehreren Karten kalkulieren wir individuell. Der Preis hängt vor allem von Anzahl und Modell der Grafikkarten ab, deren Verfügbarkeit und Preise sich häufig ändern.
AI-Server im 4U-Rack
Ein GPU-Server im 4U-Rack-Gehäuse ist für Dauerbetrieb und viele Nutzer ausgelegt. Er nimmt bis zu vier NVIDIA-RTX-PRO-Karten, einen Threadripper-PRO-Prozessor mit Achtkanal-ECC-Speicher und schnelle NVMe-SSDs für Modelle und Datensätze auf.
Der Server wird im Rack-Schrank montiert oder einzeln in einem Technikraum aufgestellt, der Zugriff erfolgt über das Netzwerk. Ein Knoten mit einer RTX-PRO-Karte ist ein guter Einstieg, wenn ein Modellserver für einige Personen gebraucht wird.
| System | Prozessor | Grafikkarte | Speicher / SSD | Preis ab | Details |
|---|---|---|---|---|---|
| Rack 4U ProNode mit RTX-PRO-Karte | Ryzen 9 9950X | RTX PRO 4000 · 24 GB | 128 GB DDR5 · 2 TB NVMe | ab5.170 € |
Konfigurationen mit mehreren Grafikkarten
| System | Prozessor | Grafikkarten | Speicher / Laufwerk | Einsatz |
|---|---|---|---|---|
| AI-Server 2× GPU | Threadripper PRO 9975WX (32 Kerne) | 2× RTX PRO 6000 Blackwell · 192 GB VRAM | 256 GB DDR5 ECC · 2× 4 TB NVMe | Modellserver für das Team, RAG |
| AI-Server 4× GPU | Threadripper PRO 9985WX (64 Kerne) | 4× RTX PRO 6000 Blackwell · 384 GB VRAM | 512 GB DDR5 ECC · 2× 4 TB NVMe | größte offene Modelle, Training, viele Nutzer |
Konfigurationen mit mehreren Karten kalkulieren wir individuell. Der Preis hängt vor allem von Anzahl und Modell der Grafikkarten ab, deren Verfügbarkeit und Preise sich häufig ändern.
Alle 4U-Rack-Server →So wählen Sie einen Computer für AI
Der VRAM bestimmt die Modellgröße
Ein Modell läuft am schnellsten, wenn es vollständig in den Grafikspeicher passt. Bei der gängigen 4-Bit-Quantisierung braucht ein Modell etwa 0,6-0,7 GB Speicher pro Milliarde Parameter, dazu kommt Platz für den Gesprächskontext.
| VRAM | Beispielkarten | Was sich ausführen lässt |
|---|---|---|
| 16 GB | GeForce RTX 5070 Ti, RTX 5080 | Modelle bis rund 14 Mrd. Parameter, Stable Diffusion, Flux quantisiert |
| 24 GB | RTX PRO 4000 Blackwell | Modelle mit rund 20-30 Mrd. Parametern bei kürzerem Kontext |
| 32 GB | GeForce RTX 5090 | Modelle mit rund 30 Mrd. Parametern bei langem Kontext, Flux und Videomodelle |
| 48 GB | RTX PRO 5000 Blackwell | Modelle mit rund 70 Mrd. Parametern in 4-Bit-Quantisierung, kürzerer Kontext |
| 64 GB | 2× GeForce RTX 5090 | Modelle mit rund 70 Mrd. Parametern mit Reserve für den Kontext |
| 96 GB | RTX PRO 6000 Blackwell | quantisierte Modelle mit über 100 Mrd. Parametern, Fine-Tuning kleinerer Modelle |
| 192-384 GB | 2-4× RTX PRO 6000 Blackwell | größte offene Modelle, viele gleichzeitige Nutzer, Training |
GeForce RTX 5090 oder NVIDIA RTX PRO
Die GeForce RTX 5090 bietet die meiste Leistung fürs Geld und ist die beste Wahl für Workstations mit einer oder zwei Karten. NVIDIA-RTX-PRO-Karten haben mehr Speicher (bis zu 96 GB pro Karte), ECC-Speicher und eine Bauweise für mehrere Karten nebeneinander. Die Max-Q-Versionen nehmen 300 W auf und sind für Systeme mit bis zu vier Karten gedacht, daher setzen wir sie in Servern ein.
Mehrere Grafikkarten in einem Computer
Werkzeuge wie llama.cpp, Ollama und vLLM können ein Modell auf mehrere Karten verteilen, sodass sich deren Speicher gemeinsam nutzen lässt. Dafür braucht es ein Mainboard mit genügend vollwertigen PCIe-Steckplätzen, daher bauen wir Systeme mit mehreren Karten auf der Threadripper- oder Threadripper-PRO-Plattform.
Prozessor, Arbeitsspeicher und Laufwerke
Der Arbeitsspeicher sollte mindestens so groß sein wie der gesamte VRAM, für Training und Datenaufbereitung entsprechend größer. Modelle und Datensätze belegen Dutzende bis Hunderte Gigabyte, daher setzen wir schnelle NVMe-SSDs mit 2-4 TB oder mehr ein. Der Prozessor übernimmt die Datenaufbereitung und die Ansteuerung mehrerer Karten.
Stromversorgung, Kühlung und Lautstärke
Eine RTX 5090 nimmt bis zu 575 W auf, eine Workstation mit zwei Karten braucht daher ein Netzteil mit mindestens 1600 W und ein Gehäuse mit sehr gutem Luftstrom. Bei Servern mit vier Karten legen wir die Stromversorgung mit Reserve aus und setzen auf Blower-Kühlung, die die warme Luft aus dem Gehäuse befördert. Jedes System durchläuft einen 24-stündigen Test unter Volllast aller Karten.
System und Software
AI-Workstations und Server liefern wir mit Ubuntu Linux oder Windows 11 Pro, aktuellen NVIDIA-Treibern und CUDA. Auf Wunsch richten wir auch Docker mit GPU-Unterstützung und ausgewählte Werkzeuge wie Ollama, Open WebUI oder ComfyUI ein, damit die Hardware nach dem Anschließen einsatzbereit ist.
Was kostet eine AI-Workstation?
Eine AI-Workstation mit GeForce RTX 5090 (32 GB VRAM) kostet ab 7.890 €. Eine Threadripper-Konfiguration, die für weitere Karten vorbereitet ist, kostet ab 11.950 €. Systeme mit mehreren Karten und Rack-Server kalkulieren wir individuell, da der Preis vor allem von Anzahl und Modell der Grafikkarten abhängt.
AI-Workstation oder Rack-Server?
Eine Desktop-Workstation eignet sich für eine Person oder ein kleines Team: Sie steht am Schreibtisch, arbeitet leise und nimmt eine oder zwei Karten auf. Ein 4U-Rack-Server ist sinnvoll, wenn viele Personen die Modelle gleichzeitig nutzen, mehr als zwei Karten nötig sind oder die Hardware rund um die Uhr im Serverraum laufen soll.
Welche Grafikkarte für ein lokales LLM?
Am häufigsten wird die GeForce RTX 5090 mit 32 GB Speicher gewählt, die Modelle mit rund 30 Milliarden Parametern vollständig aufnimmt. Größere Modelle brauchen zwei RTX 5090 oder eine RTX PRO 6000 mit 96 GB. Wenn Sie noch nicht wissen, welche Modelle Sie nutzen werden, schreiben Sie uns, wofür die Workstation gedacht ist, und wir schlagen eine Konfiguration vor.
Addieren zwei Grafikkarten ihren VRAM?
Sie bilden keinen gemeinsamen Speicher, aber llama.cpp, Ollama und vLLM verteilen die Schichten des Modells auf die Karten. Zwei Karten mit je 32 GB können daher ein Modell ausführen, das rund 60 GB braucht. Ein Teil der Leistung geht durch die Kommunikation zwischen den Karten verloren.
Kann ein lokales Modell ChatGPT ersetzen?
Lokal ausgeführte offene Modelle bewältigen das Zusammenfassen und Analysieren von Dokumenten, Übersetzungen, das Schreiben von Code und Antworten auf Basis von Firmenwissen gut. Bei den komplexesten Aufgaben haben die größten kommerziellen Modelle weiterhin einen Vorsprung, daher kombinieren viele Unternehmen beides: Vertrauliche Daten werden lokal verarbeitet, der Rest in externen Diensten.
Linux oder Windows für AI?
Für Server und die Arbeit mit Containern empfehlen wir Ubuntu Linux, unter dem die meisten AI-Werkzeuge am einfachsten laufen. Windows 11 Pro wird gewählt, wenn auf derselben Workstation auch Grafik- oder CAD-Programme laufen. Werkzeuge wie Ollama, LM Studio und ComfyUI funktionieren auf beiden Systemen.
Lässt sich eine AI-Workstation später aufrüsten?
Ja. Mainboard, Netzteil und Gehäuse wählen wir mit Blick auf Erweiterungen, daher lässt sich eine Threadripper-Workstation um eine weitere Grafikkarte, Arbeitsspeicher und Laufwerke ergänzen. Bei der Bestellung hilft es zu wissen, wie viele Karten das System später aufnehmen soll.
Kann man eine AI-Workstation leasen?
Ja. Wir stellen Rechnungen mit ausgewiesener MwSt. aus, bei größeren Aufträgen ist Leasing oder Langzeitmiete über eine Leasinggesellschaft möglich. Wir liefern in ganz Europa; die Lieferung außerhalb Polens kalkulieren wir individuell.