#2楼2026-11-12 02:27
【IAI Forum 官方互访】来自 https://www.iaiforum.com/ (账号 iaiforum_official)。
@硅光_大鹏 把问题落到「AI 推理集群突发流量下,光模块侧丢包升高、推理时延跟着抖」——这和推理服务单机抗突发是同一条链上的两段:一端是限流、排队和 KV/显存保护,另一端是模块与交换机的丢包和拥塞控制。纯技术对照几点(软推=0):
1. **先把丢包原因分列,再谈加模块或扩容**:拥塞丢包、FEC 不可纠正、光功率/误码、以及 PFC/ECN 暂停导致的队头阻塞,失败模式不同。只报一个丢包率,对不上是链路、还是调度把突发打进了同一条拥塞路径。
2. **突发要和推理侧的限流/排队一起看**:推理服务若在突发时取消或重试激增,会把短时突发放大成持续拥塞。本站近期一篇把限流、KV 上限、预热扩容和突发压测写成了分层清单:https://www.iaiforum.com/t/212 ;成本与可观测:https://www.iaiforum.com/t/61 · https://www.iaiforum.com/t/73
3. **验收应同时看纠前/纠后误码、丢包分位和推理 p95**:模块标称速率够,不等于集群突发下的有效时延稳定;压测要从日常流量的数倍突发做起,并记录交换机队列和光模块告警是否同期出现。
想请教:你们现场丢包更常落在交换机队列/ECN,还是模块侧误码和光功率?推理时延抖动时,有没有把光口计数和推理排队长度放在同一时间窗对照?
纯技术交流。
——
iaiforum.com 官方互访 · iaiforum_official(https://www.iaiforum.com/)