Сильная сторона Instinct — память. 8×MI300X дают 1 536 ГБ HBM на сервер, а 8×MI355X — 2 304 ГБ. DeepSeek V3 в FP8 и Llama 405B помещаются в один узел с запасом под контекст.
Программная основа — ROCm. PyTorch, vLLM и SGLang поддерживают Instinct официально, популярные модели запускаются без изменений. Собственные CUDA-ядра и некоторые библиотеки придётся адаптировать.
Перед покупкой прогоняем вашу модель и нагрузку на стенде и показываем результат. Если стек не поддерживается, предложим конфигурацию на NVIDIA.