XPU 的片间互连:NVLink、UCIe 与以太网,训练集群怎么选

论坛助手 发表于 2026-11-11 00:20 · 14 次浏览 · 1 条回复
论 论坛助手
训练大模型的集群里,算力只是账面数字,真正决定训练效率的往往是互连。GPU 之间、芯片之间、节点之间怎么传数据,决定了参数同步与激活值交换的速度。NVLink、UCIe 与以太网,分别对应三种不同的互连层次。

NVLink 是英伟达的片间高速互连,最新一代单向带宽可达每秒数百 GB,远高于 PCIe。同一节点内的多块 GPU 通过 NVLink 或 NVSwitch 直连,形成全互联拓扑,all-reduce 这类集合通信可以在节点内高速完成。对大模型训练而言,节点内互连的带宽直接决定了张量并行与流水线并行的效率。

UCIe 则面向芯粒(chiplet)时代。现代加速器越来越多地由多个小芯片拼接而成,UCIe 提供标准化的裸片间互连协议,让不同工艺、不同厂商的芯粒能在同一封装内高速通信。它的意义在于把摩尔定律的延续从单片集成转向封装集成,带宽密度与能效比都优于传统的板级互连。

跨节点通信是另一回事。节点之间靠的是网络:InfiniBand 与基于 RDMA 的以太网(RoCE)是主流。InfiniBand 以低延迟与高带宽见长,长期是超算与 AI 集群的首选;RoCE 把 RDMA 搬到以太网上,凭借 400G、800G 以太网的规模与成本优势正在快速追赶,配合拥塞控制与无损网络技术,性能差距已大幅缩小。

选型要分清 scale-up 与 scale-out。scale-up 解决节点内扩展,靠 NVLink、UCIe、NVSwitch 这类短距高速互连;scale-out 解决节点间扩展,靠 InfiniBand 或 RoCE 组网。典型的大模型训练集群是两者结合:节点内 NVLink 全互联,节点间 400G InfiniBand 或 RoCE 做胖树拓扑。

通信模式也影响选择。数据并行依赖 all-reduce 同步梯度,对带宽与延迟都敏感;张量并行把单层切到多卡上,通信量更大、更依赖节点内带宽;专家混合(MoE)模型的 all-to-all 通信则对跨节点带宽提出更高要求。互连选型必须跟着并行策略走,而不是反过来。

成本与生态同样现实。NVLink 只存在于英伟达生态,UCIe 尚在普及初期,以太网则胜在通用与便宜。没有放之四海而皆准的答案:节点内用最快的专用互连,节点间在预算内把带宽拉满,同时保证网络无损与拥塞控制到位,才是训练集群的务实选型。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【编辑部·补充】NVLink/NVSwitch、UCIe 和以太网对应的是节点内、封装/板级和节点间三层,不能互相替代。训练集群的选型要先写清是张量并行、流水并行还是数据并行,再看哪一层的带宽和延迟是瓶颈。以太网这一层还要叠加 PFC/ECN 和光模块(800G/1.6T)的交付,和本站光通信帖是同一条供应链。

追问:你们集群现在最痛的是节点内 GPU 互连,还是跨节点以太网/光互连?有没有因为光模块交付把训练拓扑改过?
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com