Сколько видеопамяти нужно для LLM: формула и таблица
Веса, KV-кеш, активации — как посчитать память под Llama, Qwen и DeepSeek и не переплатить за лишние карты.
Видеопамять — главный ограничитель при запуске нейросетей. Если модель не помещается в память, она либо не запустится, либо будет работать в десятки раз медленнее из-за выгрузки в оперативку. Хорошая новость: нужный объём считается заранее, по простой формуле.
Формула для инференса
Память = веса + KV-кеш + служебное.
- Веса = число параметров × байт на параметр. FP16/BF16 — 2 байта, FP8 — 1 байт, INT4 — около 0,56 байта (с учётом масштабов квантования). Модель на 70 млрд параметров в FP16 весит ~141 ГБ, в INT4 — ~40 ГБ.
- KV-кеш = 2 × число слоёв × число KV-голов × размер головы × длина контекста × байт на элемент × число одновременных запросов. Для Llama 3.3 70B это ~320 КБ на токен в FP16: 32 тысячи токенов контекста — ещё ~10 ГБ на каждого пользователя.
- Служебное — CUDA-контекст, буферы движка (vLLM, llama.cpp), фрагментация: закладывайте 1,5–3 ГБ плюс 5–10 % от весов.
Таблица: сколько памяти нужно популярным моделям
Инференс, один запрос, контекст 32K токенов:
| Модель | Параметры | INT4 | FP8 | FP16 |
|---|---|---|---|---|
| Llama 3.1 8B | 8B | 8 ГБ | 12 ГБ | 23 ГБ |
| Mistral Small 24B | 24B | 18 ГБ | 29 ГБ | 57 ГБ |
| Qwen3 32B | 32B | 25 ГБ | 41 ГБ | 80 ГБ |
| Llama 3.3 70B | 70B | 49 ГБ | 82 ГБ | 162 ГБ |
| gpt-oss-120b | 117B | 68 ГБ | 68 ГБ | 252 ГБ |
| Qwen3 235B-A22B | 235B | 144 ГБ | 254 ГБ | 506 ГБ |
| Llama 3.1 405B | 405B | 250 ГБ | 439 ГБ | 877 ГБ |
| DeepSeek V3 / R1 | 671B | 401 ГБ | 714 ГБ | 1 426 ГБ |
| Kimi K2 | 1T | 620 ГБ | 1 105 ГБ | 2 209 ГБ |
Дообучение и обучение
LoRA замораживает базовые веса и учит небольшие адаптеры: памяти нужно примерно как на инференс плюс 20–30 % на активации и оптимизатор. QLoRA держит базу в 4 битах — так 70B-модель дообучается на одной карте с 96 ГБ.
Полное обучение со смешанной точностью и оптимизатором AdamW съедает около 16 байт на параметр (веса, градиенты, FP32-копия, два момента) плюс активации. 8B-модель — уже ~130 ГБ, то есть минимум две карты по 80–96 ГБ с шардированием (FSDP / ZeRO-3).
Влезло — не значит быстро
Скорость генерации токенов упирается в пропускную способность памяти: каждое новое слово требует прочитать все активные веса. Поэтому H200 (4,8 ТБ/с) отвечает быстрее RTX PRO 6000 (1,8 ТБ/с) на той же модели, а MoE-модели вроде Qwen3 235B-A22B и DeepSeek работают быстрее, чем подсказывает их размер, — на каждый токен активна лишь часть параметров.
Посчитать под вашу модель, контекст и число пользователей — в калькуляторе подбора.
Пришлём КП с ценой, сроком и заменами
Опишите задачу своими словами — модель, нагрузку, бюджет или просто «нужно 8 карт к декабрю». Инженер подберёт 2–3 варианта и честно скажет, где можно сэкономить.