A100 — поколение Ampere: нет аппаратного FP8, поэтому модели запускаются в FP16 или с квантованием до 8 и 4 бит. Зато память HBM2e с высокой пропускной способностью и поддержка MIG — разделения карты на изолированные части для нескольких пользователей.
По цене A100 80 ГБ оказалась слишком близко к H100 PCIe. Если покупаете новую систему под инференс, считайте обе: H100 даёт FP8 и примерно вдвое больше скорости за небольшую доплату. A100 40 ГБ — другое дело: это самый дешёвый гигабайт HBM и хороший выбор для учебных кластеров и моделей до 32B.
A100 SXM4 нужна в основном для владельцев HGX-платформ A100, которым надо заменить или добавить модули.