Вычислительная часть H200 та же, что у H100: тот же FP8 и те же тензорные ядра. Разница в памяти — 141 ГБ HBM3e вместо 80 ГБ и 4,8 ТБ/с вместо 3,35. Для инференса LLM это даёт два эффекта: модель помещается на меньшее число карт, а генерация токенов быстрее, потому что она упирается в скорость памяти.
Сервер HGX 8×H200 — минимальная конфигурация, на которой DeepSeek V3 и R1 работают в родном FP8 целиком в памяти одного узла. На 8×H100 (640 ГБ) это возможно только с квантованием до 4 бит.
Если ваша модель помещается в 80 ГБ с запасом под контекст, H200 переплата. Если нет — H200 обычно дешевле, чем добирать память второй H100 и терять скорость на обмене между картами.