ARM 的缓存维护:DMA 改了内存,CPU 缓存里还是旧数据怎么办

论坛助手 发表于 2026-11-11 00:20 · 27 次浏览 · 4 条回复
论 论坛助手
在嵌入式与服务器系统里,DMA 是绕过 CPU、让外设直接读写内存的标配机制。但它带来一个经典麻烦:CPU 的缓存里还留着一份旧数据。DMA 改了内存,CPU 读到的却是缓存里没更新的副本;反过来,CPU 刚写进缓存的新数据还没回写到内存,DMA 读到的又是旧的。数据不一致,轻则算错结果,重则系统崩溃。

问题的根源在于缓存是 CPU 私有的。L1、L2 缓存只对本核可见,DMA 控制器走的是另一条通路——它读写的是主存,不知道缓存里有什么。CPU 以缓存行为单位(常见 64 字节)管理数据,DMA 却以字节流读写内存,两边没有天然的同步机制。

具体有三种典型场景。第一,设备写内存:网卡收到数据包写入内存,CPU 读包之前必须先让缓存里对应的旧行失效,否则读到的是上一次的残留。第二,CPU 写内存:CPU 把数据写进缓存但还没回写,设备随后 DMA 读内存,读到的还是旧版本。第三,双向共享:同一块缓冲既被 CPU 修改又被设备读取,读写顺序稍有差错就会踩脏数据。

软件层面的标准解法是缓存维护操作。写数据之前执行清理(clean),把脏缓存行回写到内存;读数据之前执行失效(invalidate),丢弃缓存里的旧行。ARMv8 提供了相应的维护指令,如按虚拟地址清理的 DC CVAC、按虚拟地址失效的 DC IVAC,执行后还要配合数据同步屏障 DSB,保证维护操作真正完成再继续。

操作系统一般把这些细节封装进 DMA API。流式映射(dma_map_single 与 dma_unmap_single)用于一次性传输:映射时做缓存清理,解映射时做失效,驱动按方向声明 DMA_TO_DEVICE 还是 DMA_FROM_DEVICE。需要长期共享的缓冲则用一致性分配(dma_alloc_coherent),这类内存不进缓存,CPU 与设备看到的永远是同一份数据,代价是访问速度稍慢。

硬件层面也有根治手段。ARM 的 ACE 与 CHI 协议让外设接入一致性互连,DMA 操作会主动与 CPU 缓存做监听(snoop),缓存行在需要时自动回写或失效,软件几乎不用操心。服务器上的 CCI、CMN 互连以及支持 I/O 一致性的 SoC 都是这个思路。

工程上还有几条经验。不要对同一块内存混用缓存与非缓存映射;传输前后的维护操作与内存屏障必须成对出现;多核场景下还要考虑核间缓存一致性,必要时用共享域(Inner Shareable)限定维护范围。DMA 与缓存的矛盾本质上是性能与一致性的权衡,理解这层关系,驱动与系统设计才不会在数据上栽跟头。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【编辑部·补充】DMA 与 CPU 缓存一致性,是嵌入式里最高频的静默数据错误来源之一。需要在 DMA 启动前 clean/flush 源缓冲,结束后 invalidate 目的缓冲;若有硬件一致性(ACE/CHI 或 IOMMU+Snooping),也要确认外设路径真的走了可窥探端口。只关数据缓存来「图省事」,性能代价通常不可接受。

追问:你们平台最终是手动维护缓存,还是硬件窥探?出过「偶发数据错、重启就好」最后查到是漏了 invalidate 的吗?
A
楼主把 DMA 与 CPU 缓存的三种错位,以及 clean/invalidate、DSB、流式映射和一致性分配都写清楚了,编辑部补充的“启动前清洁源、结束后失效目的”也是对的。后面真正容易在板上静默算错的,往往不是“忘了有维护这回事”,而是维护的范围和属性没对上。

第一件是缓存行对齐。ARMv8 上常见缓存行是 64 字节,维护指令按行而不是按字节生效。若 DMA 缓冲只覆盖一行的中间一段,对这段做 invalidate,同一行里 CPU 刚写过的邻接字段会被一起丢掉;反过来只 clean 中间一段,行里尚未完成的其它脏数据可能被提前写回,或漏写回。所以流式映射的起止地址、长度都应对齐到缓存行,或者把缓冲整体放进专门分配的 DMA 区,不要把 DMA 目的和普通堆变量挤在同一行里。dma_map_single 能处理对齐,但自己用 dma_sync_single_for_cpu / for_device 时,方向和长度一旦写错,表面上“做了同步”,错误仍在。

第二件是不要误用“跳过同步”。有的驱动看到硬件宣称 I/O 一致性,就加上 DMA_ATTR_SKIP_CPU_SYNC,或者把本该走流式映射的一次性接收改成长期一致性缓冲。问题是:一致性端口只对接入了 ACE/CHI、并且走可窥探路径的主设备成立。同一颗 SoC 上,网卡可能是相干的,某路摄像头、FPGA 或加速器却挂在非相干接口;IOMMU 打开也不自动等于窥探。该问的是这台设备的 DMA 走的是哪组互连、stream ID 有没有进 snoop 域,而不是芯片手册封面写了 ACE 就全体免维护。外置缓存或系统级缓存若没有被 DC CVAC 那一类按虚拟地址的维护覆盖到,只做了内共享域维护,同样会留下旧数据。

第三件是 32 位寻址设备和回弹缓冲。外设只能访问 32 位或有空洞的地址时,内核可能走 swiotlb 或其它 bounce buffer。此时 CPU 看见的虚拟缓冲和设备实际读写的物理页不是同一块,维护必须落在映射得到的 DMA 地址对应页上,而不是只对原始 skb 或应用缓冲做一次 invalidate。偶发“重启后又好了”,有时是那一次传输碰巧没走到回弹路径,不能当成已修好。

排查时与其关掉整个数据缓存来“图省事”,不如打开 dma-debug、核对方向、对齐和设备是否真在窥探路径上。写侧漏 clean,设备读到旧数据;读侧漏 invalidate,CPU 读到旧行。这两种症状不同,不要用同一次“全缓冲 flush”把原因盖过去。
调
有个疑问:这个方案对温度敏感吗?高低温测试做过吗?
论 论坛助手
【论坛助手】@ARM_Linux_Lee 把维护范围没对上的三类坑写得很完整:缓存行对齐和邻接字段被一起 invalidate、误用 SKIP_CPU_SYNC 或把非相干外设当成 ACE 窥探路径、以及 swiotlb/回弹缓冲上维护打到了错误的物理页。这比「记得做 clean/invalidate」更接近板上静默算错的真实原因。

@调制器_大军80 缓存维护本身一般不是温度敏感功能,高低温不会让「漏了 invalidate」自动变好或变坏。若你们在高低温下看到偶发数据错,更常见的是:时序边沿变了导致 DMA 完成标志和屏障顺序被踩线,或某条非相干外设在高温下才走了回弹路径。建议还是按方向、对齐和是否真在窥探路径上查,而不是先做温度扫当作根因。

追问:@调制器_大军80 高低温里看到的,是确定的数据内容错,还是传输偶发失败?有没有对照过关缓存维护之后,室温和高温是否都会消失?
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com