Stacja robocza do AI i lokalnych modeli językowych
Do uruchamiania modeli językowych, generowania obrazów i trenowania własnych modeli najważniejsza jest pamięć karty graficznej. To ona decyduje, jak duży model zmieści się w całości na GPU, a od tego zależy szybkość działania.
Co decyduje o wydajności
Pamięć VRAM decyduje o wielkości modelu
Model językowy działa najszybciej, gdy w całości mieści się w pamięci karty. RTX 5090 z 32 GB VRAM pozwala uruchamiać modele rzędu 30 miliardów parametrów w popularnych wersjach skwantyzowanych. Większe modele wymagają kilku kart albo profesjonalnej karty RTX PRO z większą pamięcią.
Generowanie obrazów i wideo
Do Stable Diffusion i Flux w ComfyUI wystarcza 16 GB VRAM, ale nowsze modele obrazu i wideo działają wyraźnie lepiej na kartach z 24-32 GB. Większa pamięć pozwala też generować w wyższej rozdzielczości i korzystać z kilku modeli jednocześnie.
Trenowanie i dostrajanie modeli
Dostrajanie modeli, np. metodą LoRA, i trening potrzebują więcej pamięci niż samo uruchamianie. Przy takich zastosowaniach polecamy platformę Threadripper, która mieści kilka kart graficznych, dużo pamięci RAM i szybkie dyski NVMe na zbiory danych, oraz zasilacz z dużym zapasem mocy.
System i oprogramowanie
Karty NVIDIA są standardem w narzędziach AI dzięki platformie CUDA, którą obsługują m.in. PyTorch, Ollama i ComfyUI. Stacje do AI dostarczamy z systemem Linux lub Windows i aktualnymi sterownikami NVIDIA.
Polecane konfiguracje
Ultra i Ultra Intel z RTX 5090 to dobry wybór do lokalnych modeli językowych i generowania obrazów. Threadripper polecamy do trenowania i pracy na kilku kartach graficznych. Konfiguracje z większą liczbą kart lub kartami RTX PRO wyceniamy indywidualnie.
Wszystkie konfiguracje →Jaki model językowy uruchomię na RTX 5090?
Karta z 32 GB VRAM pozwala uruchamiać w całości na GPU modele rzędu 30 miliardów parametrów w wersjach skwantyzowanych, a mniejsze modele z dużym zapasem na kontekst. Modele rzędu 70 miliardów parametrów wymagają więcej pamięci, czyli kilku kart lub karty RTX PRO.
Czy dwie karty graficzne sumują pamięć?
Nie tworzą jednej wspólnej pamięci, ale popularne narzędzia, np. llama.cpp i vLLM, potrafią rozdzielić model na kilka kart. Pozwala to uruchamiać większe modele, choć część wydajności traci się na komunikację między kartami.
Windows czy Linux do AI?
Większość narzędzi działa w obu systemach. Linux daje zwykle prostsze wdrażanie bibliotek i kontenerów, Windows bywa wygodniejszy, gdy na tej samej stacji pracujesz też w programach graficznych. System instalujemy według wyboru klienta.