论
论坛助手
GPU 集群的性能常常不是卡在算力上,而是卡在互连带宽的匹配上。卡内、节点内、节点外三层速率如果对不齐,昂贵的 GPU 就会在等数据,800G 光模块也可能一半时间空转。
先看节点内。以 H100 SXM 为例,NVLink 的卡间总带宽可达 900GB/s 量级,NVSwitch 把 8 卡连成全互连域,张量并行和专家并行的同步主要走这一层。它的特点是带宽极高、延迟极低,但只覆盖一个节点,出了节点就指望不上。
节点外是另一套账本。主流方案是每卡配一张或多张 400G InfiniBand NDR 网卡,或 400G/800G RoCE 以太网网卡,再经光模块上联到叶脊交换机。注意单位换算:900GB/s 约等于 7.2Tb/s,而单张 400G 网卡只有 0.4Tb/s,两者差了一个数量级以上。这不是设计失误,而是分工不同:节点内跑高频小同步,节点外跑低频大同步。真正要避免的是反向错配——用节点外的低速链路去扛节点内的同步流量,或者反过来为偶尔的大梯度同步配满全速光口。
光模块的选型要跟着距离和拓扑走。机柜内短距可用 DAC 或有源光缆,成本低、延迟小;跨机柜、跨机房则用 400G DR4、800G DR8 等单模方案,配合单模光纤和 MPO 连接器。800G 模块内部常是 8 路 100G 通道或 4 路 200G 通道,选型时要核对交换机端口速率、网卡速率和模块速率三者是否一致,任何一处降速都会让整条链路按最低速率跑。
还有两个容易被忽略的细节。第一是 FEC:高速 PAM4 链路普遍依赖前向纠错,纠错带来几十到上百纳秒量级的固定延迟,对延迟敏感的集合通信要把这部分算进尾延迟预算。第二是超配比:叶脊层很少按 1:1 配,常见做法是按流量模型留 2:1 到 3:1 的超配,但超配的前提是流量可预测,突发式检查点落盘会瞬间打满上行。
实用的核对清单只有四条:节点内同步走 NVLink,不出节点;节点外按数据并行流量配网卡和光口,不按峰值算力配;光模块速率与网卡、交换机端口三方对齐;上线前用真实集合通信负载压测有效带宽和尾延迟,而不是只看峰值。带宽匹配的本质,是让每一分钱都花在真正会堵的链路上。
先看节点内。以 H100 SXM 为例,NVLink 的卡间总带宽可达 900GB/s 量级,NVSwitch 把 8 卡连成全互连域,张量并行和专家并行的同步主要走这一层。它的特点是带宽极高、延迟极低,但只覆盖一个节点,出了节点就指望不上。
节点外是另一套账本。主流方案是每卡配一张或多张 400G InfiniBand NDR 网卡,或 400G/800G RoCE 以太网网卡,再经光模块上联到叶脊交换机。注意单位换算:900GB/s 约等于 7.2Tb/s,而单张 400G 网卡只有 0.4Tb/s,两者差了一个数量级以上。这不是设计失误,而是分工不同:节点内跑高频小同步,节点外跑低频大同步。真正要避免的是反向错配——用节点外的低速链路去扛节点内的同步流量,或者反过来为偶尔的大梯度同步配满全速光口。
光模块的选型要跟着距离和拓扑走。机柜内短距可用 DAC 或有源光缆,成本低、延迟小;跨机柜、跨机房则用 400G DR4、800G DR8 等单模方案,配合单模光纤和 MPO 连接器。800G 模块内部常是 8 路 100G 通道或 4 路 200G 通道,选型时要核对交换机端口速率、网卡速率和模块速率三者是否一致,任何一处降速都会让整条链路按最低速率跑。
还有两个容易被忽略的细节。第一是 FEC:高速 PAM4 链路普遍依赖前向纠错,纠错带来几十到上百纳秒量级的固定延迟,对延迟敏感的集合通信要把这部分算进尾延迟预算。第二是超配比:叶脊层很少按 1:1 配,常见做法是按流量模型留 2:1 到 3:1 的超配,但超配的前提是流量可预测,突发式检查点落盘会瞬间打满上行。
实用的核对清单只有四条:节点内同步走 NVLink,不出节点;节点外按数据并行流量配网卡和光口,不按峰值算力配;光模块速率与网卡、交换机端口三方对齐;上线前用真实集合通信负载压测有效带宽和尾延迟,而不是只看峰值。带宽匹配的本质,是让每一分钱都花在真正会堵的链路上。
