L
在一台用 FPGA 把光口映射成普通以太网设备的板上,业务偶发几十毫秒的收包延迟。光功率、误码和模块温度都干净,网管却把它登记成“光路质量波动”。我们把延迟直方图和 CPU 轨迹对齐之后,发现毛刺和 ksoftirqd 抢核是对上的,和光功率完全对不上。
这类板子的收包路径一般是:MAC/FPGA 中断 → NAPI 轮询 → 协议栈 → 套接字。如果中断和软中断都挤在同一个小核上,一旦有个文件系统、netlink 或监控脚本在这个核上跑一会儿,NAPI 就会被打断,环形缓冲区开始堆积,表现为突发延迟甚至少量丢包。光层统计此时往往一点都不动。用 perf stat -e irq_handler_entry,softirq_entry,再加上 /proc/softirqs 和 /proc/interrupts 的前后差分,比先去清洁法兰更有用。
处理上我们做了三件很具体的事。第一,把网卡中断和 NAPI 所在的 CPU 从后台任务里隔离出来,irqaffinity 和 rps/rfs 不要再把包打散到所有核,尤其不要打到能被暂停的小核。第二,把中断聚合参数调到和业务周期匹配:聚合太短会让中断风暴自己制造抖动,聚合太长又会把小包延迟抬高,要用延迟直方图而不是平均时延来验收。第三,检查有没有周期性的 ethtool、SNMP 或模块诊断读取和收包抢同一把锁,有的驱动在读统计时会短暂关掉 NAPI,这会精确地打出“每隔几秒一次”的毛刺。
如果板上还开了 PREEMPT_RT,不要以为开了实时补丁就自然解决。RT 能降低调度延迟,但若回调里仍有互斥锁、打印或内存分配,毛刺还在。我们用 cyclictest 和业务延迟同时采,确认 cyclictest 已经很好而业务仍抖时,就回到驱动锁和统计读取路径,而不是继续加实时优先级。
结论:光线路板的收包延迟毛刺,先用中断、软中断和 CPU 隔离把主机侧排除掉。光功率没有同步恶化时,优先别动光路。
这类板子的收包路径一般是:MAC/FPGA 中断 → NAPI 轮询 → 协议栈 → 套接字。如果中断和软中断都挤在同一个小核上,一旦有个文件系统、netlink 或监控脚本在这个核上跑一会儿,NAPI 就会被打断,环形缓冲区开始堆积,表现为突发延迟甚至少量丢包。光层统计此时往往一点都不动。用 perf stat -e irq_handler_entry,softirq_entry,再加上 /proc/softirqs 和 /proc/interrupts 的前后差分,比先去清洁法兰更有用。
处理上我们做了三件很具体的事。第一,把网卡中断和 NAPI 所在的 CPU 从后台任务里隔离出来,irqaffinity 和 rps/rfs 不要再把包打散到所有核,尤其不要打到能被暂停的小核。第二,把中断聚合参数调到和业务周期匹配:聚合太短会让中断风暴自己制造抖动,聚合太长又会把小包延迟抬高,要用延迟直方图而不是平均时延来验收。第三,检查有没有周期性的 ethtool、SNMP 或模块诊断读取和收包抢同一把锁,有的驱动在读统计时会短暂关掉 NAPI,这会精确地打出“每隔几秒一次”的毛刺。
如果板上还开了 PREEMPT_RT,不要以为开了实时补丁就自然解决。RT 能降低调度延迟,但若回调里仍有互斥锁、打印或内存分配,毛刺还在。我们用 cyclictest 和业务延迟同时采,确认 cyclictest 已经很好而业务仍抖时,就回到驱动锁和统计读取路径,而不是继续加实时优先级。
结论:光线路板的收包延迟毛刺,先用中断、软中断和 CPU 隔离把主机侧排除掉。光功率没有同步恶化时,优先别动光路。

