NVLink 参数(NVLink Interconnect) 定义 NVIDIA 高速 GPU 互联总线,提供远高于 PCIe 的带宽与更低延迟,用于多 GPU 之间的高速通信与内存访问。 关键指标 带宽:随代际增长(如 NVLink 3/4),多链路聚合; 拓扑:点对点、全互联、环/网格; 适用:张量/流水线并行中的跨卡通信、模型并行通信热点。 对工程的影响 对 张量并行、大规模 数据并行 的 AllReduce、传递并行 的阶段传输尤为关键; 选型需结合主板 NVSwitch、GPU 代际与插槽布局。