В наличии
H100 — ускоритель поколения Hopper с аппаратной поддержкой FP8. Для LLM это главное: веса в FP8 занимают вдвое меньше памяти, чем в FP16, а скорость почти не падает. Поэтому одна H100 на 80 ГБ держит Llama 3.3 70B в FP8 с коротким контекстом, а пара — с запасом под длинный контекст и десяток одновременных запросов.
Выбор между исполнениями — это выбор платформы. PCIe и NVL ставятся в обычные 2U–4U серверы под PCIe-карты, их можно докупать по одной. SXM5 продаётся только в составе HGX-платы на 8 ускорителей: дороже на старте, но NVLink 900 ГБ/с между всеми картами нужен для обучения и для моделей размером с весь сервер.
Если задача — инференс моделей до 70B, а бюджет ограничен, сравните H100 с RTX PRO 6000 Blackwell: у неё 96 ГБ памяти, но нет NVLink и меньше пропускная способность. Для обучения и плотной загрузки 24/7 H100 остаётся стандартом.