SM（Streaming Multiprocessors）是GPU架構中非常重要的部分，GPU硬件的并行性就是由SM決定的。 以Fermi架構為例，其包含以下主要組成部分： CUDA cores Shared Memory/L1Cache Register File Load/Store Units Special Function Units Warp Scheduler GPU中每個SM都設計成支持數以百計的線程并行執行，并且每個GPU都包含了很多的SM，所以GPU支持成百上千的線程并行執行，當一個kernel啟動后，thread會被分配到這些SM中執行。大量的thread可能會被分配到不同的SM，但是同一個block中的thread必然在同一個SM中并行執行。