По скорости памяти RTX 5090 почти догнала H100 PCIe: 1,8 ТБ/с против 2,0. Поэтому в генерации токенов для моделей, которые помещаются в 32 ГБ, она работает быстро. Ограничение — объём: 70B-модели нужно две карты даже в 4 битах.
Станция на 2×5090 даёт 64 ГБ и подходит для Llama 70B в 4 битах. На 4×5090 нужен блок питания от 2 800 Вт и продуманное охлаждение: каждая карта потребляет до 575 Вт.
Лицензия драйвера GeForce ограничивает использование игровых карт в дата-центрах. Для серверов в ЦОД берите RTX PRO 6000 Server Edition или L40S.