Fortran程序CUDA并行化總結(jié)
0 引 言
Fortran 是常用的科學計算語言,其突出的特性就是能實 現(xiàn)自然描述且描述接近數(shù)學公式,有較好的執(zhí)行效率,但是 由于在計算流體力學、現(xiàn)代醫(yī)學影像、分子動力學等領(lǐng)域的 模擬中,存在大量的程序計算,仍然耗時很多,有的計算需 要幾天甚至幾十天才能完成。為了提高程序的計算效率,我們 將 Fortran 代碼并行化。通常人們用 MPI 進行粗粒度的并行來 提高程序的運行效率,近年來隨著 GPU 計算能力的提高,將 程序進行細粒度 GPU 并行化成為一種趨勢。
1 編 碼
在 編 碼 階 段,F(xiàn)ortran 程 序 CUDA 并 行 化 即 為 Fortran → C → CUDA 的過程。
1.1 Fortran → C 的轉(zhuǎn)化過程
從 Fortran 到 C 的轉(zhuǎn)化過程,只需要在掌握二者語法的 基礎(chǔ)上,逐行翻譯即可,但翻譯工作中需要注意以下細節(jié)。
(1)數(shù)組
C 語言中數(shù)組的起始編號為 0,而 Fortran 的默認起始編 號為 1,但也可以用(idx1 :idx2)的方式自己定義,這就需要 我們把程序中的每個數(shù)組變量的定義弄明白,翻譯時對默認 定義的數(shù)組標號減 1,非默認定義的,則用 [i-idx1] 來計算實際標號。
其次是多維陣列。雖然 C 和 Fortran 中所謂的多維陣列 都是一個連續(xù)的一維存儲空間,但是它們對于行列的分割卻 相反。如圖 1(a)和圖 1(b)分別給出了 C 和 Fortran 對于數(shù) 組 a[3][2] 各自的數(shù)組分割方式。由此,我們在翻譯過程中定 義和使用多維數(shù)組時都須將數(shù)組的行列轉(zhuǎn)換。如 a(3 :2)變 為 C 時應為 a[2][3],對應圖 1(b)。
(2)函數(shù)參數(shù)傳遞 Fortran 中函數(shù)調(diào)用時一般傳遞的是參數(shù)的內(nèi)存地址,而 C 既可以進行值傳遞,也可以進行地址傳遞,一般需要返回 多個參數(shù)值時用地址傳遞。在翻譯中,為了方便,所有函數(shù)都 采用地址傳遞。
(3)函數(shù)重載 在 Fortran 中為了共享數(shù)據(jù)的方便一般會用 common,如 下例所示,F(xiàn)ortran 代碼為 :
1.2 C → CUDA 的轉(zhuǎn)化過程
CUDA 是一種數(shù)據(jù)并行性而非功能并行性的并行計算解 決方案。在 C 到 CUDA 的轉(zhuǎn)化過程中,最關(guān)鍵的就是分析整 個程序,找到最耗時的代碼部分,分析整個的可并行性,在 對整個物理過程理解的基礎(chǔ)上,進行算法設(shè)計,然后并行化。
以核物理中的蒙卡輸運程序為例,蒙特卡羅(MC)方法 采用隨機方法模擬物理過程,應用數(shù)理統(tǒng)計獲取計算結(jié)果的 計算方法。蒙卡的整個輸運框架如圖 2 所示,其中,n 為粒子 編號,N 為粒子總數(shù)。由于每個粒子輸運過程相對獨立、粒子 間通信量少、循環(huán)次數(shù)多,因此,可以一個粒子對應一個線程 來并行。
當然,若是有對程序足夠的理解,并且 Fortran 和C都很 精通的情況下,則可以直接將 Fortran 程序 CUDA 并行化。
2 測 試
我們借助 GDB 調(diào)試工具,將測試過程分為由下到上,和 由上到下兩步。首先,由下到上的對單個程序逐級測試;然后, 根據(jù)程序?qū)懗龆喾N輸入?yún)?shù),由上往下整體測試。
判定程序正確的方法就是此程序有相同的輸入和輸出, 有隨機數(shù)的程序會給我們的測試帶來很大的困難。如上面提 到的蒙卡輸運程序,我們既要保證程序中輸運過程的隨機性, 又要通過測試保證程序的正確性。一般大家會想到產(chǎn)生一個 很大的隨機數(shù)文件,分別讀入到 Fortran 和 C 程序中,此方法 可行,但是在粒子數(shù)很多的情況下,效率很低。文章就此問題 提出了很好的解決方案,此處不再詳細解述。
2.1 Fortan → C 測試
對于變量少的程序,我們只需要手動打印出需要檢測的 變量值進行對比,但是對于有幾千個全局變量的計算程序, 逐一手動輸出效率會很低。因此我們首先要找到程序中用到的 全局變量,然后根據(jù)這些變量書寫 main 函數(shù)測試。這個問題 我們可以借助 Perl、Shell 等腳本語言完成。其步驟如下:
(1)人工找到程序中所有的全局變量,其類型,維數(shù), 每一維的長度按照某種格式寫到文件 A中 ;
(2)人工找出程序中的所有程序、子程序及函數(shù)的名字, 寫到 B 中 ;
(3)書寫腳本,根據(jù)文件 A,在所要測試的 Fortran 程序 的初始化部分,打印出所有全局變量的值,作為 C 程序的輸入; 在所要測試的 Fortran 程序結(jié)束之前,打印出所有全局變量的 值,作為判斷 C 程序的標準 ;
(4)書寫腳本,實現(xiàn)初始化函數(shù),即給 C 語言的變量初 始化 ;
(5)書寫腳本,實現(xiàn)讀入 Fortran 的輸出值,判斷 C 程 序的正確性。
在具體的腳本實現(xiàn)過程中,需要對 Fortran 語法詳細分解, 如一個程序可能有多處結(jié)束,而在每個結(jié)束前都需要輸出打 印。為了方便,同時打印出變量的類型、維數(shù)及每一維的長度。
2.2 Fortan → CUDA 測試
CUDA 程序的測試并不像 C 程序的測試那樣簡單,因為 由于算法原因,在功能不變的情況下整個程序可能會被打亂, 甚至對變量數(shù)組進行排序,由于原來的數(shù)組會打亂,致使不 能用 GDB 調(diào)試工具進行對比,并且無法定位錯誤或者判斷計 算中的正確性。雖然程序及數(shù)組順序亂了,但是程序的功能不 會變,并且在相同功能的地方這些數(shù)組之和不會變,所以我們 可以在功能相同的地方對數(shù)據(jù)之和進行對比。
3 結(jié) 語
面對科學計算中串行程序的瓶頸,我們需要應用并行化 方法來解決,本文就 Fortran 向基于 CUDA 架構(gòu)的 GPU 移植 過程中所遇到的一些問題進行總結(jié)。當然為了更高的計算效率, 可以對初步的程序優(yōu)化。