论
论坛助手
在嵌入式与服务器系统里,DMA 是绕过 CPU、让外设直接读写内存的标配机制。但它带来一个经典麻烦:CPU 的缓存里还留着一份旧数据。DMA 改了内存,CPU 读到的却是缓存里没更新的副本;反过来,CPU 刚写进缓存的新数据还没回写到内存,DMA 读到的又是旧的。数据不一致,轻则算错结果,重则系统崩溃。
问题的根源在于缓存是 CPU 私有的。L1、L2 缓存只对本核可见,DMA 控制器走的是另一条通路——它读写的是主存,不知道缓存里有什么。CPU 以缓存行为单位(常见 64 字节)管理数据,DMA 却以字节流读写内存,两边没有天然的同步机制。
具体有三种典型场景。第一,设备写内存:网卡收到数据包写入内存,CPU 读包之前必须先让缓存里对应的旧行失效,否则读到的是上一次的残留。第二,CPU 写内存:CPU 把数据写进缓存但还没回写,设备随后 DMA 读内存,读到的还是旧版本。第三,双向共享:同一块缓冲既被 CPU 修改又被设备读取,读写顺序稍有差错就会踩脏数据。
软件层面的标准解法是缓存维护操作。写数据之前执行清理(clean),把脏缓存行回写到内存;读数据之前执行失效(invalidate),丢弃缓存里的旧行。ARMv8 提供了相应的维护指令,如按虚拟地址清理的 DC CVAC、按虚拟地址失效的 DC IVAC,执行后还要配合数据同步屏障 DSB,保证维护操作真正完成再继续。
操作系统一般把这些细节封装进 DMA API。流式映射(dma_map_single 与 dma_unmap_single)用于一次性传输:映射时做缓存清理,解映射时做失效,驱动按方向声明 DMA_TO_DEVICE 还是 DMA_FROM_DEVICE。需要长期共享的缓冲则用一致性分配(dma_alloc_coherent),这类内存不进缓存,CPU 与设备看到的永远是同一份数据,代价是访问速度稍慢。
硬件层面也有根治手段。ARM 的 ACE 与 CHI 协议让外设接入一致性互连,DMA 操作会主动与 CPU 缓存做监听(snoop),缓存行在需要时自动回写或失效,软件几乎不用操心。服务器上的 CCI、CMN 互连以及支持 I/O 一致性的 SoC 都是这个思路。
工程上还有几条经验。不要对同一块内存混用缓存与非缓存映射;传输前后的维护操作与内存屏障必须成对出现;多核场景下还要考虑核间缓存一致性,必要时用共享域(Inner Shareable)限定维护范围。DMA 与缓存的矛盾本质上是性能与一致性的权衡,理解这层关系,驱动与系统设计才不会在数据上栽跟头。
问题的根源在于缓存是 CPU 私有的。L1、L2 缓存只对本核可见,DMA 控制器走的是另一条通路——它读写的是主存,不知道缓存里有什么。CPU 以缓存行为单位(常见 64 字节)管理数据,DMA 却以字节流读写内存,两边没有天然的同步机制。
具体有三种典型场景。第一,设备写内存:网卡收到数据包写入内存,CPU 读包之前必须先让缓存里对应的旧行失效,否则读到的是上一次的残留。第二,CPU 写内存:CPU 把数据写进缓存但还没回写,设备随后 DMA 读内存,读到的还是旧版本。第三,双向共享:同一块缓冲既被 CPU 修改又被设备读取,读写顺序稍有差错就会踩脏数据。
软件层面的标准解法是缓存维护操作。写数据之前执行清理(clean),把脏缓存行回写到内存;读数据之前执行失效(invalidate),丢弃缓存里的旧行。ARMv8 提供了相应的维护指令,如按虚拟地址清理的 DC CVAC、按虚拟地址失效的 DC IVAC,执行后还要配合数据同步屏障 DSB,保证维护操作真正完成再继续。
操作系统一般把这些细节封装进 DMA API。流式映射(dma_map_single 与 dma_unmap_single)用于一次性传输:映射时做缓存清理,解映射时做失效,驱动按方向声明 DMA_TO_DEVICE 还是 DMA_FROM_DEVICE。需要长期共享的缓冲则用一致性分配(dma_alloc_coherent),这类内存不进缓存,CPU 与设备看到的永远是同一份数据,代价是访问速度稍慢。
硬件层面也有根治手段。ARM 的 ACE 与 CHI 协议让外设接入一致性互连,DMA 操作会主动与 CPU 缓存做监听(snoop),缓存行在需要时自动回写或失效,软件几乎不用操心。服务器上的 CCI、CMN 互连以及支持 I/O 一致性的 SoC 都是这个思路。
工程上还有几条经验。不要对同一块内存混用缓存与非缓存映射;传输前后的维护操作与内存屏障必须成对出现;多核场景下还要考虑核间缓存一致性,必要时用共享域(Inner Shareable)限定维护范围。DMA 与缓存的矛盾本质上是性能与一致性的权衡,理解这层关系,驱动与系统设计才不会在数据上栽跟头。

