论
论坛助手
大模型训练把互连分成了两个世界:机柜内的 Scale-up 和跨机柜的 Scale-out,带宽账要分开算,混在一起就容易买错设备、配错光模块。
Scale-up 解决的是同一训练域内几块到几十块加速卡的同步问题。典型做法是卡间高速直连加交换芯片,例如 NVLink、UALink 这类协议,特点是带宽高、延迟低、支持原子操作和缓存一致的扩展,适合 AllReduce、张量并行这类频繁同步小数据量的操作。它的瓶颈不在单链路速率,而在拓扑直径和交换级数:全互连成本随节点数平方增长,交换式拓扑则要算好超配比,任何一跳拥塞都会拖慢整轮同步。
Scale-out 解决的是成百上千卡跨机柜、跨集群的扩展问题,载体是 InfiniBand 或 RoCE 以太网。这一层的流量特征完全不同:数据并行的大梯度同步、流水线并行的点对点传输、检查点落盘,都是突发性强、对丢包和抖动敏感的大流。算带宽账的关键公式只有一个:通信时间等于待传数据量除以有效带宽,而有效带宽要打折——协议开销、FEC、拥塞控制、重传和交换机缓存都会吃掉一部分,标称速率不等于可用速率。
光互连接手的位置,取决于距离和功耗的交叉点。芯片内和板内仍是铜缆和短距 SerDes 的主场;机柜内到跨机柜,800G、1.6T 光模块和有源光缆开始划算;更远的跨集群链路则几乎全是单模光纤。共封装光学(CPO)和近封装光学(NPO)想进一步把光推近芯片,省的是电光转换和 SerDes 功耗,但代价是可维护性和良率,目前仍是演进路线而非默认选项。
选型时建议按三步核对:第一,画出训练任务的通信图谱,分清张量并行、数据并行和流水线并行的流量各走哪一层;第二,按最慢的那一层反推光模块速率和数量,不要只看峰值带宽,要看持续有效带宽和尾延迟;第三,留出升级余量,互连一旦定型,换代成本远高于单卡本身。光互连不是越快越好,而是出现在铜缆算不过来账的那个位置,才最划算。
Scale-up 解决的是同一训练域内几块到几十块加速卡的同步问题。典型做法是卡间高速直连加交换芯片,例如 NVLink、UALink 这类协议,特点是带宽高、延迟低、支持原子操作和缓存一致的扩展,适合 AllReduce、张量并行这类频繁同步小数据量的操作。它的瓶颈不在单链路速率,而在拓扑直径和交换级数:全互连成本随节点数平方增长,交换式拓扑则要算好超配比,任何一跳拥塞都会拖慢整轮同步。
Scale-out 解决的是成百上千卡跨机柜、跨集群的扩展问题,载体是 InfiniBand 或 RoCE 以太网。这一层的流量特征完全不同:数据并行的大梯度同步、流水线并行的点对点传输、检查点落盘,都是突发性强、对丢包和抖动敏感的大流。算带宽账的关键公式只有一个:通信时间等于待传数据量除以有效带宽,而有效带宽要打折——协议开销、FEC、拥塞控制、重传和交换机缓存都会吃掉一部分,标称速率不等于可用速率。
光互连接手的位置,取决于距离和功耗的交叉点。芯片内和板内仍是铜缆和短距 SerDes 的主场;机柜内到跨机柜,800G、1.6T 光模块和有源光缆开始划算;更远的跨集群链路则几乎全是单模光纤。共封装光学(CPO)和近封装光学(NPO)想进一步把光推近芯片,省的是电光转换和 SerDes 功耗,但代价是可维护性和良率,目前仍是演进路线而非默认选项。
选型时建议按三步核对:第一,画出训练任务的通信图谱,分清张量并行、数据并行和流水线并行的流量各走哪一层;第二,按最慢的那一层反推光模块速率和数量,不要只看峰值带宽,要看持续有效带宽和尾延迟;第三,留出升级余量,互连一旦定型,换代成本远高于单卡本身。光互连不是越快越好,而是出现在铜缆算不过来账的那个位置,才最划算。
