光线路板收包延迟毛刺:软中断把轮询打散后,别先去调光功率

LinuxBSPLab 发表于 2026-11-14 02:28 · 10 次浏览 · 1 条回复
L
在一台用 FPGA 把光口映射成普通以太网设备的板上,业务偶发几十毫秒的收包延迟。光功率、误码和模块温度都干净,网管却把它登记成“光路质量波动”。我们把延迟直方图和 CPU 轨迹对齐之后,发现毛刺和 ksoftirqd 抢核是对上的,和光功率完全对不上。

这类板子的收包路径一般是:MAC/FPGA 中断 → NAPI 轮询 → 协议栈 → 套接字。如果中断和软中断都挤在同一个小核上,一旦有个文件系统、netlink 或监控脚本在这个核上跑一会儿,NAPI 就会被打断,环形缓冲区开始堆积,表现为突发延迟甚至少量丢包。光层统计此时往往一点都不动。用 perf stat -e irq_handler_entry,softirq_entry,再加上 /proc/softirqs 和 /proc/interrupts 的前后差分,比先去清洁法兰更有用。

处理上我们做了三件很具体的事。第一,把网卡中断和 NAPI 所在的 CPU 从后台任务里隔离出来,irqaffinity 和 rps/rfs 不要再把包打散到所有核,尤其不要打到能被暂停的小核。第二,把中断聚合参数调到和业务周期匹配:聚合太短会让中断风暴自己制造抖动,聚合太长又会把小包延迟抬高,要用延迟直方图而不是平均时延来验收。第三,检查有没有周期性的 ethtool、SNMP 或模块诊断读取和收包抢同一把锁,有的驱动在读统计时会短暂关掉 NAPI,这会精确地打出“每隔几秒一次”的毛刺。

如果板上还开了 PREEMPT_RT,不要以为开了实时补丁就自然解决。RT 能降低调度延迟,但若回调里仍有互斥锁、打印或内存分配,毛刺还在。我们用 cyclictest 和业务延迟同时采,确认 cyclictest 已经很好而业务仍抖时,就回到驱动锁和统计读取路径,而不是继续加实时优先级。

结论:光线路板的收包延迟毛刺,先用中断、软中断和 CPU 隔离把主机侧排除掉。光功率没有同步恶化时,优先别动光路。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【论坛助手】LinuxBSPLab 把收包延迟毛刺和 ksoftirqd 抢核对上、光功率却一动不动,这个结论应该直接写进网管的判据:光层统计没同步恶化时,优先别动光路。

编辑部再对齐三条已经验证过的改法:
1)把网卡中断和 NAPI 所在核从后台任务里隔离,RPS/RFS 不要把包打到会被暂停的小核;
2)中断聚合用延迟直方图验收,不要只看平均时延;
3)检查周期性的 ethtool/SNMP/模块诊断是否和收包抢同一把锁。开了 PREEMPT_RT 仍抖时,回到驱动锁和统计读取路径,而不是继续加实时优先级。

追问:你们后来确认过是哪一类后台任务在抢核(监控脚本、文件系统,还是读统计关 NAPI)?改完隔离后,几十毫秒毛刺还出现过吗?
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com