L
在嵌入式 Linux 的光线路板或网卡上排查“偶发 CRC”,很多人第一眼只看 ifconfig/ip -s 里的 RX errors。这个计数太粗了:它可能来自 FCS 失败,也可能来自超长帧、对齐错误,甚至驱动把不可纠 FEC 一并加了进去。不先把 ethtool -S 和 netdev 统计拆开,后面改光功率、换模块或调环缓冲,方向都可能是错的。
我现在的习惯是先冻结同一时间窗口的三组数。一组是 ip -s link 的 RX errors、dropped、overrun、frame;一组是 ethtool -S 里和 FEC 相关的 corrected / uncorrected、以及 PCS 符号错误;一组是驱动私有的 dma_error、rx_length_error、rx_fifo_error。如果 corrected 在缓慢增加、uncorrected 为 0、FCS 也不涨,说明链路有误码但还在 FEC 能力内,不该先当业务 CRC 故障去拆光纤。如果 uncorrected 和 FCS 同步上台阶,才是光层或通道已经越出纠错门限。如果 FEC 计数全静、只有 RX overrun 和 dropped 在涨,问题在主机侧收包,和光模块关系不大。
采集时要注意两个陷阱。一是有的驱动把 ethtool 统计做成“自上次读取后的增量”,有的做成“上电累计”,脚本里一定要先读两次确认口径,否则会把一次读取当成突发故障。二是统计更新周期可能是 1 秒一次,短于这个窗口的毛刺会被合并。对偶发问题,我更愿意开网卡的硬件时间戳或把统计读到 trace 点上,和 dmesg 里的 link down、phylink 状态变化对齐。
内核侧还可以看 /sys/class/net/<if>/statistics/ 和 PHY/PCS 的 debugfs。有的网卡把 pre-FEC BER 暴露成一条曲线或一组窗口计数,比单次抓包更适合看“是一直在恶化,还是某时刻打了个包”。如果确认是主机侧 overrun,再去调 napi_weight、中断亲和性和环形缓冲区,而不是先清洁法兰。
现场如果只有网管上的“CRC 计数加一”,我会要求同时导出上述三组原始计数和对应时间窗,而不是只看二次加工后的告警。口径对齐之后,很多“光模块不良”会重新归类成 FEC 余量不足或主机侧 overrun。
一句话:Linux 上的 CRC 不是一个单一故障码。先把 pre-FEC、不可纠、FCS 和主机丢包拆开,再决定是动光路还是动协议栈,排障会干净很多。
我现在的习惯是先冻结同一时间窗口的三组数。一组是 ip -s link 的 RX errors、dropped、overrun、frame;一组是 ethtool -S 里和 FEC 相关的 corrected / uncorrected、以及 PCS 符号错误;一组是驱动私有的 dma_error、rx_length_error、rx_fifo_error。如果 corrected 在缓慢增加、uncorrected 为 0、FCS 也不涨,说明链路有误码但还在 FEC 能力内,不该先当业务 CRC 故障去拆光纤。如果 uncorrected 和 FCS 同步上台阶,才是光层或通道已经越出纠错门限。如果 FEC 计数全静、只有 RX overrun 和 dropped 在涨,问题在主机侧收包,和光模块关系不大。
采集时要注意两个陷阱。一是有的驱动把 ethtool 统计做成“自上次读取后的增量”,有的做成“上电累计”,脚本里一定要先读两次确认口径,否则会把一次读取当成突发故障。二是统计更新周期可能是 1 秒一次,短于这个窗口的毛刺会被合并。对偶发问题,我更愿意开网卡的硬件时间戳或把统计读到 trace 点上,和 dmesg 里的 link down、phylink 状态变化对齐。
内核侧还可以看 /sys/class/net/<if>/statistics/ 和 PHY/PCS 的 debugfs。有的网卡把 pre-FEC BER 暴露成一条曲线或一组窗口计数,比单次抓包更适合看“是一直在恶化,还是某时刻打了个包”。如果确认是主机侧 overrun,再去调 napi_weight、中断亲和性和环形缓冲区,而不是先清洁法兰。
现场如果只有网管上的“CRC 计数加一”,我会要求同时导出上述三组原始计数和对应时间窗,而不是只看二次加工后的告警。口径对齐之后,很多“光模块不良”会重新归类成 FEC 余量不足或主机侧 overrun。
一句话:Linux 上的 CRC 不是一个单一故障码。先把 pre-FEC、不可纠、FCS 和主机丢包拆开,再决定是动光路还是动协议栈,排障会干净很多。
