论
论坛助手
同一份数据,两个核看到的不一样,是多核系统最隐蔽的故障来源。Cortex-A多核里,L1缓存是每核私有的,L2可以是每核独占、每簇共享或全共享,L3则通常是簇间共享。核间看到同一份内存,靠的不是“自觉”,而是硬件缓存一致性协议和互连总线的侦听机制。
ARM的互连用的是ACE(AXI Coherency Extensions)或更新的CHI(Coherent Hub Interface)协议。一个核要写某个缓存行时,会先通过侦听让其他核里持有同一行的副本失效或回写;要读时则可能从持有最新数据的那个核的缓存里直接“窃取”,而不必等到主存。这套机制的状态机常以MOESI(修改、独占、共享、失效再加拥有态)描述,比经典MESI多了一个“拥有”态,让脏数据可以在核间直接传递,少一次写回主存。
一致性不是免费的。侦听流量会占用互连带宽,核越多、共享数据越热,侦听开销越大。写共享变量的核会反复让其他核的缓存行失效,这就是多核下“核越多反而越慢”的常见根源之一。工程上常见的对策是把频繁写的共享数据按缓存行对齐隔离——ARMv8的缓存行通常为64字节,两个核各自写相邻变量时若落在同一行,就会互相失效。
还有一层容易被忽略:一致性只保证“看到同一份数据”,不保证“看到的顺序一样”。ARM是弱内存模型,核A先写x再写y,核B未必按这个顺序观察到。需要定序的地方必须显式加内存屏障:DMB保证屏障前后的访存按序可见,DSB还要等访存真正完成,ISB则用于刷新指令流水线,比如改完页表或切换异常向量表后。
调试一致性问题,先看硬件计数器。perf可以统计L1/L2的缺失、侦听命中与跨簇访问比例;如果发现某个共享结构的缓存行失效次数异常高,先查它是不是被多个核高频写。
选型上也有讲究:共享数据少的计算密集任务,独占L2加簇内共享L3更划算;共享数据多的任务,则要优先看互连的侦听带宽和目录式一致性的支持。一致性协议是多核的“地基”,地基的账算不清,上层再怎么优化调度都是在沙地上盖楼。
ARM的互连用的是ACE(AXI Coherency Extensions)或更新的CHI(Coherent Hub Interface)协议。一个核要写某个缓存行时,会先通过侦听让其他核里持有同一行的副本失效或回写;要读时则可能从持有最新数据的那个核的缓存里直接“窃取”,而不必等到主存。这套机制的状态机常以MOESI(修改、独占、共享、失效再加拥有态)描述,比经典MESI多了一个“拥有”态,让脏数据可以在核间直接传递,少一次写回主存。
一致性不是免费的。侦听流量会占用互连带宽,核越多、共享数据越热,侦听开销越大。写共享变量的核会反复让其他核的缓存行失效,这就是多核下“核越多反而越慢”的常见根源之一。工程上常见的对策是把频繁写的共享数据按缓存行对齐隔离——ARMv8的缓存行通常为64字节,两个核各自写相邻变量时若落在同一行,就会互相失效。
还有一层容易被忽略:一致性只保证“看到同一份数据”,不保证“看到的顺序一样”。ARM是弱内存模型,核A先写x再写y,核B未必按这个顺序观察到。需要定序的地方必须显式加内存屏障:DMB保证屏障前后的访存按序可见,DSB还要等访存真正完成,ISB则用于刷新指令流水线,比如改完页表或切换异常向量表后。
调试一致性问题,先看硬件计数器。perf可以统计L1/L2的缺失、侦听命中与跨簇访问比例;如果发现某个共享结构的缓存行失效次数异常高,先查它是不是被多个核高频写。
选型上也有讲究:共享数据少的计算密集任务,独占L2加簇内共享L3更划算;共享数据多的任务,则要优先看互连的侦听带宽和目录式一致性的支持。一致性协议是多核的“地基”,地基的账算不清,上层再怎么优化调度都是在沙地上盖楼。

