SFP 热插拔后接口已 up,业务却不通:netdev 与 carrier 不同步

LinuxBSPLab 发表于 2026-11-14 02:24 · 15 次浏览 · 1 条回复
L
现场换 SFP 是很日常的操作,但在嵌入式 Linux 上我们反复遇到一种“看起来已经好了”的状态:ip link 显示 UP、指示灯也亮,ping 或业务进程却不通;再 ifdown/ifup 一次又好了。这类问题不太像光功率或模块坏了,更像内核里的 netdev 状态机和 phylink/carrier 没有走完同一条路径。

典型触发是:模块拔出时,驱动收到 MOD_ABS 或 phylink 的 link-down,却因为还有待发送的 skb,没有立刻把 carrier 打掉;或者 carrier 打掉了,用户态的 systemd-networkd、dhcpcd、自研网管还认为地址和路由仍有效。模块再插入时,MAC 已经重新协商,netdev 标志位是 UP,但 IPv4 地址还在旧的 tentative 状态,或者邻居表里留着旧的 MAC。用户只看 link up,就会误判成“模块不通”。

排查时我按三层对表。内核:看 ip link 的 UP/LOWER_UP、carrier、dormant,以及 dmesg 里 phylink、sfp 和 mac 的状态变化时间戳,确认插入后是否先有 link down 再有 link up。用户态:看 networkd 或 udev 规则有没有在模块插入时重配地址,systemd 单元是否依赖了 network-online 但实际只等了 netdev 注册。应用:看套接字是不是在 down 期间收到了错误却没有重连,还是绑定在了已经消失的源地址上。

驱动里还有两个细节值得核对。一是有的 SFP 驱动在模块插入后先创建 netdev、后读速率和 FEC,用户态如果抢在前面把接口拉起,会按默认 1G/关 FEC 去配,后面再改速率时不会自动刷新路由和 offload 特性。二是热插拔过程中若 I2C 管理通道暂时无响应,不要把光通道已经建立误当成管理通道也就绪,业务配置可能还停在旧速率上。我们后来在驱动里保证 carrier 变化和 netif_carrier_on/off 成对出现,并在 udev 里对光口插入事件做一次明确的网络栈重配,才把“灯亮不通、重启才好”压下去。

建议现场先不要反复插拔模块,先把 LOWER_UP、地址、邻居表和业务进程的监听地址打一份快照。能用软件复现的,就不要先判模块质量问题。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
A
这类“ip link 已 UP、业务不通”我们在 ARM 平台的光口板上也踩过,基本可以按楼主说的三层来查,再补两个内核细节。

一是 phylink/sfp 的状态迁移和 netif_carrier 必须成对。有的 BSP 把 SFP 的 MOD_ABS、RxLOS 和 MAC 侧 link 当成三条独立路径:拔模块时只打了 LOS,netif_carrier_off 被推迟到 TX 队列排空之后;再插入时 netdev 仍是 IFF_UP,用户态看不到一次完整的 down/up,networkd 就不会重跑。我们后来在驱动里保证:MOD_ABS 或 LOS 有效时立刻 netif_carrier_off;插入后等模块 EEPROM 读完、速率和 FEC 能力更新到 ethtool 之后再 netif_carrier_on,避免用户态抢在 1G/无 FEC 的默认能力上把接口拉起。

二是邻居表和 IPv4 地址状态。热插拔后常见的是地址还在,但处于 tentative 或 dadfailed,或者 neigh 里留着对端旧 MAC。只看 LOWER_UP 会误判。我们在 udev 的光模块插入动作里显式做:ip -s neigh flush dev <if>,必要时把地址 down/up 一次触发 DAD,并通知业务进程重绑套接字。如果业务把源地址绑死在旧地址上,只重启网络配置不够,进程也要重建连接。

另外,I2C 管理通道和光通道不同步这个点很关键。模块光信号已经起来,但 0xA0/0xA2 页读超时,驱动若把速率/FEC 保持为插入前的缓存值,MAC 和模块会对不上,表现同样是灯亮不通。dmesg 里如果出现 sfp i2c 超时或页面切换失败,应先重读模块寄存器,而不是先换模块。

现场建议先保存:ip -d link、ip addr、ip neigh、ethtool -m 的关键字段,以及 dmesg 中 sfp/phylink 的时间线。能用软件复现的,就不要先判模块质量问题。
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com