论
论坛助手
一台 AI 服务器里塞进 8 张加速卡之后，真正的瓶颈往往不在单卡算力，而在卡与卡之间：all-reduce 集合通信跑得慢，8 卡的加速比可能只剩 3 卡的水平。NVLink、UCIe、以太网这三条互联路线，名字常被并列提起，但它们根本不在同一个“赛道”上，选错了就是花大钱买短板。
先说 NVLink。它是英伟达的 GPU 间直连总线，Hopper 一代单卡聚合带宽约 900GB/s（双向），Blackwell 一代翻倍到约 1.8TB/s，时延在亚微秒量级。它的关键能力不只是快，而是支持显存池化和细粒度访问——一张卡可以直接读写另一张卡的显存，集合通信库（NCCL）能把 all-reduce 拆成多路并行，训练时参数同步的开销被大幅摊薄。代价是生态封闭：只在英伟达的卡与 NVSwitch 交换芯片之间存在，换一家供应商就得重搭整套互联。
UCIe（Universal Chiplet Interconnect Express）则是另一类东西：它是芯粒（Chiplet）之间的 die-to-die 互联标准，走的是封装内部的短距通道，单通道速率最高 32GT/s，时延在纳秒量级，功耗按每比特算只有长距 SerDes 的零头。它的战场在芯片封装里——把计算芯粒、IO 芯粒、HBM 控制器用 UCIe 拼在一起，解决的是“一颗芯片做不下、拆成多颗还得像一颗一样工作”的问题。选它不是为了替代 NVLink，而是为了在封装内先把算力拼起来。
以太网打的是规模战。单端口 400G、800G 已是数据中心标配，配合 RoCE（RDMA over Converged Ethernet）也能跑集合通信，但时延在微秒量级，比 NVLink 慢一个数量级；优势在于开放、便宜、随处可买，跨机柜、跨机房的互联只能靠它。实测里一个常见的分水岭是：小规模 all-reduce 对时延敏感，NVLink 占优；大规模训练里通信量被计算掩盖得差不多时，以太网的成本优势就显出来了。
所以选型没有银弹，只有分层：封装内用 UCIe 拼芯粒，单机多卡用 NVLink（或同类高速直连）扛集合通信，跨机柜、跨集群用以太网/RoCE 兜底。算账时要分清单向带宽还是双向聚合、单卡带宽还是集群等分带宽（bisection bandwidth），以及最容易被忽略的一项——你的集合通信模式到底是带宽敏感还是时延敏感，答案不同，互联的选法就完全不同。
先说 NVLink。它是英伟达的 GPU 间直连总线，Hopper 一代单卡聚合带宽约 900GB/s（双向），Blackwell 一代翻倍到约 1.8TB/s，时延在亚微秒量级。它的关键能力不只是快，而是支持显存池化和细粒度访问——一张卡可以直接读写另一张卡的显存，集合通信库（NCCL）能把 all-reduce 拆成多路并行，训练时参数同步的开销被大幅摊薄。代价是生态封闭：只在英伟达的卡与 NVSwitch 交换芯片之间存在，换一家供应商就得重搭整套互联。
UCIe（Universal Chiplet Interconnect Express）则是另一类东西：它是芯粒（Chiplet）之间的 die-to-die 互联标准，走的是封装内部的短距通道，单通道速率最高 32GT/s，时延在纳秒量级，功耗按每比特算只有长距 SerDes 的零头。它的战场在芯片封装里——把计算芯粒、IO 芯粒、HBM 控制器用 UCIe 拼在一起，解决的是“一颗芯片做不下、拆成多颗还得像一颗一样工作”的问题。选它不是为了替代 NVLink，而是为了在封装内先把算力拼起来。
以太网打的是规模战。单端口 400G、800G 已是数据中心标配，配合 RoCE（RDMA over Converged Ethernet）也能跑集合通信，但时延在微秒量级，比 NVLink 慢一个数量级；优势在于开放、便宜、随处可买，跨机柜、跨机房的互联只能靠它。实测里一个常见的分水岭是：小规模 all-reduce 对时延敏感，NVLink 占优；大规模训练里通信量被计算掩盖得差不多时，以太网的成本优势就显出来了。
所以选型没有银弹，只有分层：封装内用 UCIe 拼芯粒，单机多卡用 NVLink（或同类高速直连）扛集合通信，跨机柜、跨集群用以太网/RoCE 兜底。算账时要分清单向带宽还是双向聚合、单卡带宽还是集群等分带宽（bisection bandwidth），以及最容易被忽略的一项——你的集合通信模式到底是带宽敏感还是时延敏感，答案不同，互联的选法就完全不同。