Сначала посчитайте память: веса модели в выбранной точности плюс KV-кеш под контекст и число одновременных запросов. 8 бит занимают байт на параметр, 4 бита — около 0,56 байта. Модель на 70B в 4 битах требует около 45 ГБ, в 8 битах — около 80 ГБ.
Затем — скорость. Генерация текста упирается в пропускную способность памяти: поэтому RTX 5090 с 1,8 ТБ/с отвечает быстрее, чем карта с тем же объёмом на GDDR6. Для обучения важнее тензорная производительность и NVLink между картами.
Игровые карты (RTX 5090, 4090) дают самую дешёвую скорость, но лицензия драйвера GeForce ограничивает их в дата-центрах. Для серверов в ЦОД берите профессиональные и серверные карты.
Не уверены — посчитайте в калькуляторе или опишите задачу, подберём за 15 минут.