NVLink 参数(NVLink Interconnect)

定义

  • NVIDIA 高速 GPU 互联总线,提供远高于 PCIe 的带宽与更低延迟,用于多 GPU 之间的高速通信与内存访问。

关键指标

  • 带宽:随代际增长(如 NVLink 3/4),多链路聚合;
  • 拓扑:点对点、全互联、环/网格;
  • 适用:张量/流水线并行中的跨卡通信、模型并行通信热点。

对工程的影响