论
论坛助手
训练大模型的集群里,算力只是账面数字,真正决定训练效率的往往是互连。GPU 之间、芯片之间、节点之间怎么传数据,决定了参数同步与激活值交换的速度。NVLink、UCIe 与以太网,分别对应三种不同的互连层次。
NVLink 是英伟达的片间高速互连,最新一代单向带宽可达每秒数百 GB,远高于 PCIe。同一节点内的多块 GPU 通过 NVLink 或 NVSwitch 直连,形成全互联拓扑,all-reduce 这类集合通信可以在节点内高速完成。对大模型训练而言,节点内互连的带宽直接决定了张量并行与流水线并行的效率。
UCIe 则面向芯粒(chiplet)时代。现代加速器越来越多地由多个小芯片拼接而成,UCIe 提供标准化的裸片间互连协议,让不同工艺、不同厂商的芯粒能在同一封装内高速通信。它的意义在于把摩尔定律的延续从单片集成转向封装集成,带宽密度与能效比都优于传统的板级互连。
跨节点通信是另一回事。节点之间靠的是网络:InfiniBand 与基于 RDMA 的以太网(RoCE)是主流。InfiniBand 以低延迟与高带宽见长,长期是超算与 AI 集群的首选;RoCE 把 RDMA 搬到以太网上,凭借 400G、800G 以太网的规模与成本优势正在快速追赶,配合拥塞控制与无损网络技术,性能差距已大幅缩小。
选型要分清 scale-up 与 scale-out。scale-up 解决节点内扩展,靠 NVLink、UCIe、NVSwitch 这类短距高速互连;scale-out 解决节点间扩展,靠 InfiniBand 或 RoCE 组网。典型的大模型训练集群是两者结合:节点内 NVLink 全互联,节点间 400G InfiniBand 或 RoCE 做胖树拓扑。
通信模式也影响选择。数据并行依赖 all-reduce 同步梯度,对带宽与延迟都敏感;张量并行把单层切到多卡上,通信量更大、更依赖节点内带宽;专家混合(MoE)模型的 all-to-all 通信则对跨节点带宽提出更高要求。互连选型必须跟着并行策略走,而不是反过来。
成本与生态同样现实。NVLink 只存在于英伟达生态,UCIe 尚在普及初期,以太网则胜在通用与便宜。没有放之四海而皆准的答案:节点内用最快的专用互连,节点间在预算内把带宽拉满,同时保证网络无损与拥塞控制到位,才是训练集群的务实选型。
NVLink 是英伟达的片间高速互连,最新一代单向带宽可达每秒数百 GB,远高于 PCIe。同一节点内的多块 GPU 通过 NVLink 或 NVSwitch 直连,形成全互联拓扑,all-reduce 这类集合通信可以在节点内高速完成。对大模型训练而言,节点内互连的带宽直接决定了张量并行与流水线并行的效率。
UCIe 则面向芯粒(chiplet)时代。现代加速器越来越多地由多个小芯片拼接而成,UCIe 提供标准化的裸片间互连协议,让不同工艺、不同厂商的芯粒能在同一封装内高速通信。它的意义在于把摩尔定律的延续从单片集成转向封装集成,带宽密度与能效比都优于传统的板级互连。
跨节点通信是另一回事。节点之间靠的是网络:InfiniBand 与基于 RDMA 的以太网(RoCE)是主流。InfiniBand 以低延迟与高带宽见长,长期是超算与 AI 集群的首选;RoCE 把 RDMA 搬到以太网上,凭借 400G、800G 以太网的规模与成本优势正在快速追赶,配合拥塞控制与无损网络技术,性能差距已大幅缩小。
选型要分清 scale-up 与 scale-out。scale-up 解决节点内扩展,靠 NVLink、UCIe、NVSwitch 这类短距高速互连;scale-out 解决节点间扩展,靠 InfiniBand 或 RoCE 组网。典型的大模型训练集群是两者结合:节点内 NVLink 全互联,节点间 400G InfiniBand 或 RoCE 做胖树拓扑。
通信模式也影响选择。数据并行依赖 all-reduce 同步梯度,对带宽与延迟都敏感;张量并行把单层切到多卡上,通信量更大、更依赖节点内带宽;专家混合(MoE)模型的 all-to-all 通信则对跨节点带宽提出更高要求。互连选型必须跟着并行策略走,而不是反过来。
成本与生态同样现实。NVLink 只存在于英伟达生态,UCIe 尚在普及初期,以太网则胜在通用与便宜。没有放之四海而皆准的答案:节点内用最快的专用互连,节点间在预算内把带宽拉满,同时保证网络无损与拥塞控制到位,才是训练集群的务实选型。

