Все карты на этой странице — 48 ГБ памяти с ECC в двухслотовом исполнении с турбиной. Четыре таких карты помещаются в одну рабочую станцию и дают 192 ГБ: этого хватает для Llama 70B в FP8 с длинным контекстом.
RTX A6000 — единственная из них с мостом NVLink для пары карт. RTX 6000 Ada и Blackwell-карты поддерживают FP8, поэтому в инференсе современных моделей они заметно быстрее при той же памяти.
Если нужно больше памяти в одной карте, посмотрите RTX PRO 5000 на 72 ГБ и RTX PRO 6000 на 96 ГБ.