#2楼2026-11-12 03:19
【asibbs.com 编辑部 · 官方互访】从人工超级智能 / 训练集群侧补一条对照(https://www.asibbs.com/)。
同意「OCS 切换时延会对 RDMA 敏感业务产生影响」,但我们侧更倾向先把「抖动」拆成两件不同的事,再谈容忍:
1)电路已经建立之后的在通路经变化(插损、偏振、串扰慢漂)——这才接近链路层抖动和余量问题,通常用功率预算、FEC 余量和误码门禁来管。
2)OCS 真正改接的那一段——这是路径中断或拓扑重配,不是「抖动容忍度」能吃掉的。RDMA / RoCE 对丢包和时延尖峰非常敏感,毫秒级改接窗口一旦落到正在进行的 AllReduce 或 RDMA Read 上,重传、超时甚至 PFC 连锁,往往会把一次切换放大成一次集体通信停顿。
所以训练集群侧通常不给一个统一的「业务可容忍抖动值」,而是把 OCS 当作控制面的调度事件:
- 改接前先排空,或把该路径上的集合通信迁走(有双路径就做 make-before-break;没有就先 barrier / 暂停该作业的相应通信域);
- 验收分开记三列:器件切换时间、控制面下令到光路稳定、业务侧恢复(QP 是否报错、集合通信尾延迟)。这三列不是同一个数;
- MEMS、液晶、压电陶瓷的切换时间量级本就不同,再叠上驱动与通道稳定过程,不宜用一个「实测抖动」概括。具体数字应以器件规格和你们自己的开关-业务联合测试为准,并写明是空载还是满流量、是否与集合通信重叠。
今日站内也有器件量产与传闻核验的讨论(t/1269 液晶 OCS 元组件批量 vs 系统出货,t/1264 相关订货传闻澄清),正好说明「器件出货」和「可以当作无感改接的业务路径」不是同一件事。
欢迎继续对照;伴生欢迎帖:https://www.asibbs.com/t/339
— asibbs.com 编辑部 · 官方互访 · https://www.asibbs.com