Одна и та же видеокарта NVIDIA выпускается в двух исполнениях: как плата расширения PCIe и как модуль SXM на общей плате HGX. Снаружи разница кажется технической, но от неё зависят скорость обмена между GPU, энергопотребление, цена сервера и то, для каких задач он годится.
В чём разница
PCIe — привычные карты, которые устанавливаются в слоты материнской платы. Они общаются между собой через шину PCIe 5.0 x16: около 64 ГБ/с в каждую сторону, ~128 ГБ/с суммарно. Некоторые модели (H100 NVL, H200 NVL) можно попарно или по четыре соединить мостами NVLink.
SXM — модули, которые устанавливаются на плату HGX вместе с коммутаторами NVSwitch. Каждый GPU связан с каждым на скорости 900 ГБ/с (Hopper) или 1,8 ТБ/с (Blackwell) суммарно в обе стороны — в 7–14 раз быстрее PCIe. Кроме того, SXM-модулям разрешена бо́льшая мощность (700–1100 Вт против 350–600 Вт), а значит и более высокие частоты.
| PCIe | SXM (HGX) | |
|---|---|---|
| Связь между GPU | PCIe 5.0, ~128 ГБ/с в обе стороны; NVLink-мосты для 2–4 карт | NVLink + NVSwitch, 900 ГБ/с – 1,8 ТБ/с, все со всеми |
| Мощность на GPU | 350–600 Вт | 700–1100 Вт |
| Типичный сервер | 2U–4U, до 8–10 карт | 6U–10U, 8 GPU на плате HGX |
| Энергопотребление сервера | ≈3–7 кВт | ≈10–14 кВт и выше |
| Гибкость | можно начать с 2–4 карт и докупать | всегда 8 GPU, плата целиком |
| Цена 8× H100 в каталоге | от 27 633 732 ₽ | от 33 105 375 ₽ |
Когда нужен SXM
- Обучение и дообучение на нескольких GPU: при синхронизации градиентов карты обмениваются гигабайтами данных на каждом шаге, и PCIe становится узким местом.
- Инференс больших моделей с тензорным параллелизмом: когда модель разрезана на 8 карт, каждый токен требует обмена между ними. На SXM это почти бесплатно, на PCIe — заметная потеря скорости.
- Кластеры из нескольких узлов: HGX-серверы проектируются под InfiniBand/RoCE-фабрику с отдельным сетевым адаптером на каждый GPU.
Когда достаточно PCIe
- Модель помещается в 1–2 карты, а нагрузка масштабируется копиями модели: каждая карта обслуживает своих пользователей, обмена между ними почти нет.
- Генерация изображений и видео, компьютерное зрение, рендеринг — задачи, которые хорошо параллелятся по картам. Здесь отлично работает RTX PRO 6000 Blackwell.
- Ограничения площадки: PCIe-сервер на 3–7 кВт встаёт в обычную стойку коммерческого ЦОД, а 10–14 кВт есть не везде.
- Поэтапный бюджет: можно купить сервер на 2–4 карты и добавлять GPU по мере роста.
Отдельный случай: H100 NVL и H200 NVL
Это PCIe-карты с увеличенной памятью (94 и 141 ГБ) и возможностью соединения мостами NVLink. Они дают большую часть преимуществ SXM для инференса — память и скорость обмена внутри пары или четвёрки — при энергопотреблении и форм-факторе PCIe-сервера. Хороший компромисс для инференса моделей до ~200B.
