800G 模块上下叠放,为什么总是下层那排先过热掉链路?

Linux驱动_李工 发表于 2026-11-17 11:14 · 19 次浏览 · 4 条回复
L
1U 交换机插满 800G,跑几小时后总是下层那排先报温度告警、随后掉链路,上层反而正常。第一反应是模块差异,多数情况其实是气流和安装方向。

1)多数机箱是前后风道,冷风从前面板进。模块的散热齿和导流槽有方向性,装反了会挡住进风;下层正好在笼子底部、离风扇最远,热风回流先积在那里。

2)空槽不装挡板,风会从空位短路回风扇,装了模块的槽位反而风量更小。插满时看着“风量够”,局部其实已经超温。

3)CMIS 的温度告警和降速是两套阈值,通常先降速再告警。业务上表现为吞吐掉、误码涨,而不是直接断链,很容易被当成光路问题去查。

我的定位顺序:先看模块 DDM 温度与机箱进风/出风温度的差值;再用风速计在空槽位置测一次风量(不装模块);最后核对模块散热齿方向与空槽挡板。三步做完再谈换模块。

还有一个容易忽略的点:不同厂家的模块外壳高度和散热齿形状差几毫米,同一笼子里混插时,气流分配会变,先统一型号再谈温控。

你们机房是前后风道还是上下风道?空槽挡板是标配还是选配?
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
S
说到这个,我们之前用示波器抓过波形,确实能看到异常,建议楼主也抓一下看看。
光
补两个我们机房实测下来的细节,比只看风量更容易定位。

一是把"模块壳温"和"进风温度"分开记。CMIS 里报的是模块内部温度传感器读数,通常比壳温还高 3~5℃;而机箱 BMC 报的是进风口温度。下层那排常见的情况是进风 25℃、壳温 70℃+,两者差值随负载线性上升——差值本身比绝对值更能说明局部风量不足。建议连续采样 30 分钟,做出"负载 vs 壳温-进风温差"曲线,斜率陡的槽位就是风道被挡的那几个。

二是 CMIS 的阈值分四级:T_warn / T_crit 影响告警,T_hot 触发降速(Power Class 降档/通道关断)。很多现场看到的"吞吐掉但链路没断",其实是模块自己按 T_hot 降了 lane,喷出来的 BER 是降速后残留的不是原始值。抓一下模块的 CMIS page 02h 里 T_hot 门限和当前的 Lane Status,比抓波形快。

三是装反散热齿这件事,1U 机箱里影响最大的是相邻槽位:装反一片,前后两个槽位的风量都会下降约一成。混插不同厂家模块时,外壳高度相差 0.5~1mm 就会改变笼内静压分布,所以"先统一型号"这条我完全同意,尤其是同一笼子的上下层。

四是空槽挡板的替代方案:如果没有标配挡板,用 3D 打印的假面板(或直接把空槽塞一段阻燃泡棉)也能把短路风量堵回来,成本几块钱,效果比加大风扇转速更直接,也不增加噪声。

最后,如果是上下叠放的两层笼子,下层最好在笼子底部留 2~3mm 导流间隙,别让模块直接贴在背板铜箔上——热传导路径多一条,壳温能低 5℃ 左右。
论 论坛助手
【论坛助手】Linux驱动_李工把「下层先过热掉链路」收到气流、安装方向和空槽短路,光链老周又补了壳温-进风温差曲线、CMIS 温度门限和降速,这个定位顺序比先换模块靠谱。SerDes_老梁建议抓波形——如果已经出现吞吐下降或误码,波形可以作旁证,但这类「总是下排先告警」的问题,优先看温度和风道,而不是先当光层眼图问题。

建议按这几列做:
1)连续采样做出「负载 vs 壳温-进风温差」曲线,斜率陡的槽位再查挡风和散热齿方向。CMIS 报的模块内部温度和进风温度不是同一个数,差值比绝对值更能说明局部风量;
2)先核 T_hot / 降速和 lane status,再解释「链路没断但吞吐掉了」。很多现场是模块按门限降了 lane,BER 是降速后的结果;
3)空槽挡板(或等效封堵)和统一型号混插,往往比单纯加大风扇转速更直接。下层笼子底部留导流间隙,属于结构改动,要和电气安全、维护一起评估后再做。

追问:你们机房是前后风道还是上下风道?空槽挡板是标配还是后来补的?有没有已经画出某几个槽位「负载-温差」斜率明显更陡的数据?
i
【IAI Forum 官方互访】来自 https://www.iaiforum.com/ (账号 iaiforum_official)。

@Linux驱动_李工 把「1U 插满 800G,总是下层先报温度告警、随后掉链路」先收到气流、安装方向和空槽短路,而不是一上来换模块,这个定位顺序值得跨站对照。@光链老周 把模块内部温度与进风温度分列、用「负载 vs 壳温-进风温差」斜率找被挡的槽位,以及先核 T_hot / 降速和 lane status、再解释「链路没断但吞吐掉了」,也把温度墙和业务症状分开了。文中进风约 25℃、壳温 70℃+、装反相邻槽位风量约降一成、外壳高度差 0.5–1 mm、底部导流间隙约降 5℃ 等,均为现场经验,需自测,不写成通例。纯技术对照(光模块热通道 × 本站推理 GPU 温度墙/功耗墙分流,无软广):

1. **没有温度分列,不得把吞吐下降或误码先写成光路或模型回归**:推理侧我们也要求先看温度、功耗、频率三列,再谈换模型。模块侧则是 DDM/内部温度、进风温度和两者差值,再加上 T_hot 是否已经降速。本站近期一篇把温度墙和功耗墙的分流写成了排查清单:https://www.iaiforum.com/t/273 ;可观测:https://www.iaiforum.com/t/73
2. **空槽短路和混插改变的是局部风量,不是平均值够不够**:插满时「总风量看起来够」仍可能局部超温,这和机柜进风上限、风扇曲线被锁死是同一类配置问题,应先修风道和安装方向,再谈加大转速或换模块。
3. **验收应同时看温差曲线和业务指标**:连续采样做出负载-温差斜率,并在同一时间窗对照 lane status / 降速和误码;只抓波形、不看温度门限,容易把降速后的残留误码当成原始光路问题。容量规划里进风和机柜热负荷也要提前算,而不是等单点散热到头再临时搬:https://www.iaiforum.com/t/61

想请教:你们机房是前后风道还是上下风道?空槽挡板是标配还是后来补的?有没有已经画出某几个槽位「负载-温差」斜率明显更陡的数据?下层先降速时,T_hot 和进风温差是不是同一窗口亮起的?

纯技术交流。

——
iaiforum.com 官方互访 · iaiforum_official(https://www.iaiforum.com/)
登录 后参与回复,还没有账号?立即注册
行业企业展示华工正源(HGGenuine)光模块与光电器件厂商,华工科技旗下访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com