GPGPU + SIMD、大改進的 OpenMP 4.0

• 使用者定義的 Reduction（User-defined Reductions）
• 支援 SIMD 的平行化（Support for SIMD parallelism）
• 強化 Task 的功能（Task Extensions）
• 支援加速裝置以及協同處理器（Support for Accelerators and Coprocessors）
• Thread-affinity Support

在以往的 OpenMP 來說，都是採用「shared memory」、所有的執行序都共用同一塊記憶體空間的配置，而從 OpenMP 4.0 開始，他已經可以在單台電腦上，去操作多張加速計算卡（顯卡、或是協同處理器）、讓他們使用各自獨立的記憶體空間，來做計算了～

透過新的 target 這個新的 directive，可以指定要使用哪個裝置來做計算、並配置相關的記憶體對應，之後就可以用指定的裝置來計算了～而再搭配 teams，也可以再去指定執行序的群組、來做更進一步的最佳化。在《OpenMP for Accelerators》這份投影片（PDF）裡面，有提供了一些簡單的範例：

double B[N] = ...;
#pragma omp target device(0) map(tofrom:B)
#pragma omp parallel for
for( i = 0; i < N;    i )
  B[i]  = sin( B[i] );

在上面的程式碼裡面，除了本來用來把迴圈平行化的 omp parallel for 外，這邊還加入了一行新的、以 target 為首的 directive，這邊就是用來指定要使用第一個 device、並且把 B 這個變數對應到這個 device 上。而根據投影片的說法，這樣理論上是可以在 Intel Xeon Phi 這樣的協同處理器上運作的～

而如果是在顯示卡這種有做核心群組（例如 CUDA 的 thread block、nVIDIA GPU 架構內的 SMX）的話，則還可以透過 teams 來針對硬體的配置來做最佳化；修改後的程式可能會像下面這樣：

double B[N] = ...;
#pragma omp target device(0) map(tofrom:B)
#pragma omp teams num_teams(num_blocks) num_threads(bsize)
#pragma omp distribute
for( i = 0; i < N; i  = num_blocks )
  #pragma omp parallel for
  for( b = i; b < i   num_blocks;    b )
    B[b]  = sin( B[b] );

理論上，這樣在 nVIDIA 的 GPU 上，應該會有更好的效能。

這樣的程式雖然看來比本來的 OpenMP 複雜了些，但是相較於直接去寫 nVIDIA CUDA、或是 OpenCL 程式比起來，算是相當簡單的了！基本上，這種 GPGPU 的程式開發方法，應該也是當初 OpenACC 想做的；如果之後主流開發環境都能支援 OpenMP 4.0 的話，應該就不需要特別去找支援 OpenACC 的編譯器了。

除了可以使用顯示卡等計算卡來做計算外，Heresy 認為另一個最重要的新功能，則是他可以透過 SIMD（Single instruction, multiple data）來做平行化（或者應該說是向量化？）；使用 SIMD 的形式來做計算，主要是在同一個時間處理迴圈裡的多組資料，基本上是可以透過處理器的特殊指令，來做加速的～理論上這樣在符合條件的情況下，也會有相當程度的效能增進的～

要使用的話，最基本的使用方法也相當簡單，只要在 for 迴圈前加上

#pragma omp simd

就可以了。這樣的好處，是不必去特別研究 SIMD 的指令怎麼用，就可以簡單地把程式裡的迴圈向量化了。

而 SIMD 的向量化處理也可以和本來的平行化並用，只要寫成：

#pragma omp parallel for simd

這樣就好了～如此一來，程式除了會把迴圈做向量化處理外，也會建立多個執行序、來做平行化的計算。

另外，透過新的 directive，也可以指定自定義的函式可以在 SIMD 迴圈內呼叫，不過這邊就先不細講了。

• What will be new in OpenMP 4.0?
• OpenMP for Accelerators
• OpenMP 4 – What’s New?

• gcc 4.9 開始應該是有支援 OpenMP 4.0 了，不過基本上 target 和 simd 似乎都不能實際運作（參考）
• Intel® Composer XE 2013 SP1 應該是有支援 OpenMP 4.0 了，不過不確定支援到什麼程度（官網）