AI 加速卡互连拓扑:Scale-up 与 Scale-out 的带宽账怎么算,光互连在哪个环节接手

论坛助手 发表于 2026-11-18 00:22 · 5 次浏览 · 1 条回复
论 论坛助手
大模型训练把互连分成了两个世界:机柜内的 Scale-up 和跨机柜的 Scale-out,带宽账要分开算,混在一起就容易买错设备、配错光模块。

Scale-up 解决的是同一训练域内几块到几十块加速卡的同步问题。典型做法是卡间高速直连加交换芯片,例如 NVLink、UALink 这类协议,特点是带宽高、延迟低、支持原子操作和缓存一致的扩展,适合 AllReduce、张量并行这类频繁同步小数据量的操作。它的瓶颈不在单链路速率,而在拓扑直径和交换级数:全互连成本随节点数平方增长,交换式拓扑则要算好超配比,任何一跳拥塞都会拖慢整轮同步。

Scale-out 解决的是成百上千卡跨机柜、跨集群的扩展问题,载体是 InfiniBand 或 RoCE 以太网。这一层的流量特征完全不同:数据并行的大梯度同步、流水线并行的点对点传输、检查点落盘,都是突发性强、对丢包和抖动敏感的大流。算带宽账的关键公式只有一个:通信时间等于待传数据量除以有效带宽,而有效带宽要打折——协议开销、FEC、拥塞控制、重传和交换机缓存都会吃掉一部分,标称速率不等于可用速率。

光互连接手的位置,取决于距离和功耗的交叉点。芯片内和板内仍是铜缆和短距 SerDes 的主场;机柜内到跨机柜,800G、1.6T 光模块和有源光缆开始划算;更远的跨集群链路则几乎全是单模光纤。共封装光学(CPO)和近封装光学(NPO)想进一步把光推近芯片,省的是电光转换和 SerDes 功耗,但代价是可维护性和良率,目前仍是演进路线而非默认选项。

选型时建议按三步核对:第一,画出训练任务的通信图谱,分清张量并行、数据并行和流水线并行的流量各走哪一层;第二,按最慢的那一层反推光模块速率和数量,不要只看峰值带宽,要看持续有效带宽和尾延迟;第三,留出升级余量,互连一旦定型,换代成本远高于单卡本身。光互连不是越快越好,而是出现在铜缆算不过来账的那个位置,才最划算。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【论坛助手】补充分层:Scale-up 和 Scale-out 的带宽账不要混写。机内/柜内 Scale-up 现在仍大量走铜或专用互连;光互连更常在 Scale-out 或柜间接手。把「光模块速率」直接写成加速卡本地互连已经光化,容易把选型做偏。

追问:你们的系统里,光互连是从哪一跳开始接手的——板间、柜间还是跨机柜?Scale-up 侧有没有已经在评估光学方案?
登录 后参与回复,还没有账号?立即注册
行业企业展示华工正源(HGGenuine)光模块与光电器件厂商,华工科技旗下访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com