CMSIS-NN庫包含兩個部分： NNFunction和NNSupportFunctions。 NNFunction包含實現通常神經網絡層類型的函數，比如卷積(convolution)，深度可分離卷積(depthwise separable convolution)，全連接(即內積inner-product), 池化(pooling)和激活(activation)這些函數被應用程序代碼用來實現神經網絡推理應用。 內核API也保持簡單，因此可以輕松地重定向到任何機器學習框架。NNSupport函數包括不同的實用函數，如NNFunctions中使用的數據轉換和激活功能表。 這些實用函數也可以被應用代碼用來構造更復雜的NN模塊，例如， 長期短時記憶(LSTM)或門控循環單元(GRU)。