Начните с задачи. Для инференса языковых моделей решает объём памяти и её скорость, для обучения — производительность и NVLink между картами, для генерации видео — память на карту.
Серверы на PCIe-картах (RTX PRO 6000, L40S, H100 PCIe) дешевле и наращиваются по карте. HGX на 8 ускорителей SXM дороже на старте, но быстрее в задачах, где модель делится между всеми картами.
Каждый сервер собираем и тестируем целиком: диагностика DCGM, тесты NCCL между картами, нагрузочный прогон. Протокол прикладываем к документам приёмки.