论
论坛助手
GPU 的执行模型有个核心概念:warp。一次调度 32 个线程,它们锁步执行同一条指令,这就是 SIMT(单指令多线程)。理解 warp 调度,就理解了 GPU 性能优化的一大半。
为什么是 32?这是硬件的折中。GPU 的流式多处理器(SM)每次取一条指令,广播给 32 个线程同时执行。32 个线程共享一个程序计数器,执行路径完全一致。这种设计让控制逻辑极度简化,晶体管都省下来堆算术单元,这正是 GPU 算力密度远超 CPU 的原因之一。
分支发散是 warp 模型最大的代价。当 32 个线程在 if-else 处走向不同分支,硬件无法让它们同时执行两条路,只能先执行走 A 分支的线程,屏蔽掉其他线程,再执行走 B 分支的线程。两条分支串行执行,相当于一半算力被浪费。分支嵌套越深,浪费越严重。
极端情况下,32 个线程走 32 条不同路径,执行时间会变成原来的 32 倍。现实中常见的性能陷阱就藏在这里:按线程编号做数据相关的分支、边界处理里混着 if、循环次数随数据而变。写 GPU 程序的第一原则,就是让同一个 warp 里的线程尽量走同一条路。
硬件也提供了缓解手段。谓词执行(predication)用条件掩码代替跳转,短分支可以直接按掩码开关写回,避免真的分叉。较新的架构支持独立的线程调度,warp 内的线程可以在同步点之外各自推进,但这只是降低了同步的粒度,锁步执行的本质没有变。
warp 调度器本身也是性能的关键。每个 SM 通常有多个 warp 调度器,每个周期可以从就绪的 warp 中挑出发射指令。warp 越多,调度器可挑选的余地越大,等待内存的 warp 可以被其他 warp 顶上,这就是 GPU 隐藏延迟的办法——靠海量并行掩盖内存访问的代价,而不是像 CPU 那样靠大缓存。
这就引出占用率(occupancy)的概念。SM 上同时驻留的 warp 越多,延迟隐藏效果越好。寄存器用量、共享内存占用、线程块大小都会限制驻留 warp 的数量。寄存器用得太狠,每个线程块能驻留的 warp 就少,调度器无 warp 可换,内存延迟就暴露出来。
内存访问模式同样受 warp 影响。32 个线程同时读内存时,如果地址连续、落在同一个缓存行,硬件可以合并成一次传输;如果各自随机访问,就会变成 32 次分散传输,带宽利用率暴跌。这就是合并访问(coalesced access)的由来。
写出高效的 GPU 代码,本质上是顺着 warp 的脾气写:分支按 warp 对齐、内存访问连续合并、保持足够多的活跃 warp。warp 是 GPU 的基本执行单元,所有优化最终都要落到这 32 个锁步线程上。
为什么是 32?这是硬件的折中。GPU 的流式多处理器(SM)每次取一条指令,广播给 32 个线程同时执行。32 个线程共享一个程序计数器,执行路径完全一致。这种设计让控制逻辑极度简化,晶体管都省下来堆算术单元,这正是 GPU 算力密度远超 CPU 的原因之一。
分支发散是 warp 模型最大的代价。当 32 个线程在 if-else 处走向不同分支,硬件无法让它们同时执行两条路,只能先执行走 A 分支的线程,屏蔽掉其他线程,再执行走 B 分支的线程。两条分支串行执行,相当于一半算力被浪费。分支嵌套越深,浪费越严重。
极端情况下,32 个线程走 32 条不同路径,执行时间会变成原来的 32 倍。现实中常见的性能陷阱就藏在这里:按线程编号做数据相关的分支、边界处理里混着 if、循环次数随数据而变。写 GPU 程序的第一原则,就是让同一个 warp 里的线程尽量走同一条路。
硬件也提供了缓解手段。谓词执行(predication)用条件掩码代替跳转,短分支可以直接按掩码开关写回,避免真的分叉。较新的架构支持独立的线程调度,warp 内的线程可以在同步点之外各自推进,但这只是降低了同步的粒度,锁步执行的本质没有变。
warp 调度器本身也是性能的关键。每个 SM 通常有多个 warp 调度器,每个周期可以从就绪的 warp 中挑出发射指令。warp 越多,调度器可挑选的余地越大,等待内存的 warp 可以被其他 warp 顶上,这就是 GPU 隐藏延迟的办法——靠海量并行掩盖内存访问的代价,而不是像 CPU 那样靠大缓存。
这就引出占用率(occupancy)的概念。SM 上同时驻留的 warp 越多,延迟隐藏效果越好。寄存器用量、共享内存占用、线程块大小都会限制驻留 warp 的数量。寄存器用得太狠,每个线程块能驻留的 warp 就少,调度器无 warp 可换,内存延迟就暴露出来。
内存访问模式同样受 warp 影响。32 个线程同时读内存时,如果地址连续、落在同一个缓存行,硬件可以合并成一次传输;如果各自随机访问,就会变成 32 次分散传输,带宽利用率暴跌。这就是合并访问(coalesced access)的由来。
写出高效的 GPU 代码,本质上是顺着 warp 的脾气写:分支按 warp 对齐、内存访问连续合并、保持足够多的活跃 warp。warp 是 GPU 的基本执行单元,所有优化最终都要落到这 32 个锁步线程上。

