Размер сервера определяет память: веса модели плюс KV-кеш под контекст и число одновременных пользователей. Для чата на 30–50 сотрудников обычно закладывают 8–16 одновременных запросов.
Модели до 70B в FP8 закрывает сервер на 4 карты RTX PRO 6000. Qwen3 235B — 4–8 карт RTX PRO 6000 или 2–4 H200. DeepSeek V3 и R1 в FP8 — HGX 8×H200 или 8×MI300X.
Ставим сервер с готовым стеком: драйверы, CUDA, vLLM, Open WebUI или API, совместимый с OpenAI. Модель отвечает в день поставки, а данные не уходят из вашего контура.