Открытая модель OpenAI уже квантована в 4 бита и помещается в одну карту на 80–96 ГБ или в DGX Spark.
Веса, KV-кеш и служебная память. Один пользователь — контекст 32K; команда — 8 одновременных запросов по 32K.
| Точность | Веса | 1 пользователь | Команда (8 запросов) | Минимальная конфигурация для команды |
|---|---|---|---|---|
| FP16 / BF16 | 234 ГБ | 252 ГБ | 268 ГБ | 4× RTX PRO 6000 Max-Q — 14,8 млн ₽ |
| FP8 | 62 ГБ | 68 ГБ | 77 ГБ | DGX Spark — 858 000 ₽ |
| 4 бита | 62 ГБ | 68 ГБ | 77 ГБ | DGX Spark — 858 000 ₽ |
Самые доступные конфигурации из каталога, в которые модель помещается в 4 битах с контекстом 32K.
| Конфигурация | Что это | Память | Цена от | Срок |
|---|---|---|---|---|
| DGX Spark | настольная, память 273 ГБ/с | 128 ГБ | 858 000 ₽ | 1–3 дня |
| 2× 4090 48 ГБ (мод.) | рабочая станция | 96 ГБ | 1,84 млн ₽ | 4–8 нед. |
| H100 PCIe | 1 ускоритель | 80 ГБ | 2,75 млн ₽ | 1–3 дня |
| RTX PRO 6000 Workstation | 1 карта | 96 ГБ | 3,24 млн ₽ | 1–3 дня |
| Сервер 4U 8× RTX PRO 6000 Server | сервер 4U | 768 ГБ | 20,8 млн ₽ | 4–8 нед. |
gpt-oss-120b — смесь экспертов на 117 млрд параметров, из которых на токен работают около 5 млрд. Веса распространяются в формате MXFP4 — около 4 бит на параметр, поэтому модель занимает около 65 ГБ.
Одна H100 на 80 ГБ, RTX PRO 6000 на 96 ГБ или DGX Spark на 128 ГБ держат модель целиком. За счёт малого числа активных параметров генерация быстрая даже на одной карте.
Младшая gpt-oss-20b помещается в карту на 16–24 ГБ и подходит для рабочих станций.
Опишите задачу своими словами — модель, нагрузку, бюджет или просто «нужно 8 карт к декабрю». Инженер подберёт 2–3 варианта и честно скажет, где можно сэкономить.