DeepSeek V3 и R1 — модели со смесью экспертов: всего 671 млрд параметров, из них на каждый токен работают около 37 млрд. Поэтому генерация быстрая, но в память нужно уложить все 671 млрд. В родном FP8 это около 700 ГБ, в 4 битах — около 400 ГБ.
У DeepSeek сжатый KV-кеш (MLA): длинный контекст и много пользователей занимают в разы меньше памяти, чем у моделей того же размера. Поэтому главное — уложить веса.
Если сервер на 8 ускорителей избыточен, есть дистиллированные версии R1 на базе Qwen и Llama: 7B, 14B, 32B и 70B. Они запускаются на одной карте и для многих задач дают близкое качество рассуждений.