網格中比較CPU計算能力的一種方法

引 言

在網格計算中，常常需要使用多臺計算機協同工作完成一臺超級計算機才能完成的計算任務，為實現上述目標，首先應通過網格信息服務獲得網格中各臺主機CPU計算能力的指標，然后進行判斷選擇，決定由哪些主機參與計算。

當前，已有的網格信息服務模塊、網格監(jiān)控模塊，如MDS2將系統平均負載作為反映CPU狀態(tài)的動態(tài)指標提供給用戶；另外，通過系統命令或系統調用也可以獲得 CPU使用率這個動態(tài)指標。系統平均負載是在特定時間間隔內運行隊列中的平均進程數，CPU使用率表示CPU使用程度的指標，能夠反映出CPU的工作狀態(tài)，但由于網格中CPU型號性能的差異，因此，無法用它們直接比較網格中CPU的計算能力。

為直接比較網格中主機 CPU的計算能力，獲得具有可比性的反映CPU計算能力的指標，我們采用計算量動態(tài)選擇算法，在各臺主機上周期性地瞬間執(zhí)行計算量適中的Whestone 基準計算，通過PAPI接口編程對CPU所完成的浮點數計算進行精確計數，用得到的每秒百萬浮點數MFLOPS作為比較主機CPU計算能力的指標，定義為 WMFLOPS。得到WMFLOPS后，通過Globus提供的監(jiān)控和發(fā)現服務（Monitoring and Discovery Service，MDS），將該指標作為資源信息進行發(fā)布，作為比較網格節(jié)點CPU計算能力的依據，為用戶選擇計算節(jié)點提供參考。我們編寫了程序 WfpSensor用于上述方法的實現。WfpSensor作為傳感器工作于網格中的各個節(jié)點，周期性地對CPU進行計算測試，獲得WMFLOPS的返回值，同時，WfpSensor也是MDS服務中的本地信息提供者，定時將最新的WMFLOPS值傳遞給MDS系統，供用戶查閱。

計算測試子程序

CPU 的計算能力主要體現在浮點數計算能力、定點數計算能力和矩陣計算能力等方面，其中某一類程序在CPU上運行的效果并不能全面地反映CPU的計算能力，所以許多國際基準組織開發(fā)了測試CPU計算能力的基準測試程序，在這類程序中進行的操作和運算可以相對全面客觀地考察CPU的計算能力。本文方法采用綜合型基準測試程序Whestone作為WfpSensor的計算測試子程序，Whestone程序中主要包括浮點運算、整數運算、涉及到數組下標索引、子程序調用、參數傳遞、條件轉移和三角/超越函數等，可以綜合考察CPU提供的計算能力。

返回指標WM FLOPS

WfpSensor 進程對CPU進行計算測試后，取出CPU在測試過程中的指標來反映CPU的計算能力。絕大多數網格計算都是科學計算，而浮點計算是科學計算程序中最主要的計算，所以選用每秒百萬浮點數MFLOPS作為反映CPU計算能力的指標。MFLOPS反映了CPU的浮點計算能力，并且MFLOPS是基于操作而非指令的，可以用它來比較兩種不同CPU的計算能力。由于是調用Whestone程序進行測試所得的結果，因此定義該指標為WMFLOPS。

指標精確計數

指標確定后，如何在WfpSensor中精確得到Whestone計算結束后的WMFLOPS值成為問題的關鍵。由美國田納西大學計算機學院創(chuàng)新計算實驗室開發(fā)的標準應用編程接口PAPI（ portable application programming interface）能夠滿足上述要求。該軟件通過CPU上的硬件計數器，對CPU運行時產生的某些事件進行計數，并建立了一個標準應用編程接口方便用戶讀出計數器的值，通過這些值就可以了解當前CPU的工作狀態(tài)。由于CPU生產廠商及型號的不同，CPU硬件計數器所計數的硬件事件會有所不同，為標準化指標的名稱，使同一工具可以計數相似的可比較事件，促進跨平臺調試程序的能力，PAPI開發(fā)者選擇了一套和調試應用程序相關的硬件事件稱為預定義事件，作為反映CPU當前工作狀態(tài)的指標。這些指標是跨平臺的通用事件，包括了大部分主流RISC類事件，并且盡可能把這些預定義事件映射到給定CPU的硬件計數器事件中。在本文方法中，使用了PAPI_FP_INS這個PAPI預定義事件，它表示進程執(zhí)行過程中完成的浮點數計算。PAPI提供了精確的計時器，精確到微秒，能夠準確地對進程的執(zhí)行時間進行計時，如果經計數，PAPI_FP_INS事件總數為n，計算執(zhí)行時間為t（單位：μs） ，那么WMFLOPS=n/t。

計算量動態(tài)選擇

采用計算測試CPU的計算能力，必須保證以下兩點：

（1） 測試進程應盡可能不影響CPU的正常工作，當然由于測試進程的引入必將影響到CPU正常運行，應設法讓這種影響降到一個可以接受的程度，并且使計算給系統帶來的開銷盡可能小。

（2） 測試進程要有一定的計算量，如果計算量過小，會使初始化、函數調用等操作消耗的時間在進程的執(zhí)行時間t中占有較大的比重，從而使WMFLOPS的值比真實值小，影響測試結果的精確性。

為同時保證（1）需要較小的計算量和（2）需要較大的計算量，選擇合適的測試計算量十分重要，為此，提出采用計算量動態(tài)選擇的算法確定計算量。

計算量的大小控制可以通過改變WfpSensor中調用Whestone程序的次數（NUM_LOOPS）實現。假定使計算執(zhí)行時間t（單位：s）在 0.5～1.5的計算量是合理值，計算量調節(jié)系數為xs。WfpSensor啟動時，NUM_LOOPS賦初值。調用Whestone計算結束后，如果：

（1） 0.5≤t≤1.5，在合理區(qū)間內，NUM_LOOPS的值保持不變。

（2） t>1.5，計算量偏大，下次測試應減小Whestone的調用次數，則NUM_LOOPS=NUM_LOOPS/xs。xs為t四舍五入后的整數值。

（3） t<0.5，計算量偏小，下次測試應增加Whestone的調用次數，則NUM_LOOPS=NUM_LOOPS3xs。xs為（1/t）四舍五入后的整數值。

具體算法如下：

start_usec=PAPI_get_real_usec（）；//通過PAPI函數獲得計算開始時的時刻

do_wst（NUM_LOOPS）；//Whestone寫成函數，對它進行調用，NUM_LOOPS是調用次數

end_usec=PAPI_get_real_usec（）；//通過PAPI函數獲得計算結束時的時刻

t=（end_usec-start_usec）；//獲得計算執(zhí)行的時間

if（t>1.5）//根據本次計算執(zhí)行時間決定下次測試的調用次數

{

if（（t-floor（t））>0.5）//取最靠近t的整數

xs=floor（t）+1；

else

xs=floor（t）

NUM_LOOPS=NUM_LOOPS/xs；//修改調用次數

}

else

if（t<0.5）

{

if（（1/t-floor（1/t））>0.5）//取最靠近1/t的整數

xs=floor（1/t）+1；

else

xs=floor（1/t）；

NUM_LOOPS =NUM_LOOPS3xs；//修改調用次數

}

性能評價

為證實本文方法檢測CPU計算能力的效果，在使用Intel賽揚1.3 GHz CPU的主機上（操作系統為WindowsXP），運行WfpSensor，做以下實驗。在實驗中，使用計算π值的科學計算軟件Superπ和另一基準測試軟件Linpack作為主機的計算任務，WfpSensor設置為每10s采樣一次。為使檢測效果具有可比性，我們編寫了檢測CPU使用率的另一程序 CPUusage對CPU的使用率進行記錄，CPUusage也是每10s采樣一次。在同樣的計算條件下，分別由WfpSensor和CPUusage對 CPU的計算能力進行測試。

穩(wěn)定性

本實驗檢測WfpSensor和 CPUusage測試數據的穩(wěn)定性，機器啟動后，不運行任何程序，分別用WfpSensor和CPUusage進行5min測試，所得 WMFLOPS，NUM_LOOPS和CPU使用率如圖1所示，NUM_LOOPS初始值為4000。

由圖1可見，在未運行任何用戶程序時，與CPUusage所測數據一樣，WfpSensor所測數據是穩(wěn)定的，都可以反映出CPU的計算能力。

圖1

靈敏性

檢測WfpSensor和CPUusage對CPU計算負載變化的靈敏性。在監(jiān)控程序啟動35s后，運行Superπ（計算1M位π值），再過45s運行 Linpack。5min15s結束測試，所得WMFLOPS，NUM_LOOPS和CPU使用率如圖2所示。

電子工程世界首頁 》單片機 》 其他技術 》

網格中比較CPU計算能力的一種方法 （3）

2012-04-06 18:58:21   作者：郭　東，鞠九濱，胡　亮    來源：吉林大學學報

關鍵字：網格 CPU 計算能力 發(fā)現服務

圖2

由圖2可見，WfpSensor能夠根據CPU當前狀態(tài)自動選擇計算量，WMFLOPS的值能夠反映出CPU計算能力的動態(tài)變化情況，而CPU使用率的值則不能動態(tài)反映CPU的計算能力。

測試開銷

用測試計算的運行時間說明這個問題。在圖2（A）的實驗中，記錄了測試計算的執(zhí)行時間如圖3所示。在設計算法時，已假定測試計算執(zhí)行時間在0.5～1.5 s范圍內是合理值，即為可以接受的測試開銷。如圖3所示，除4個拐點的測試計算執(zhí)行時間值外，其他測試計算執(zhí)行時間值穩(wěn)定于1s左右，符合要求。當然，如果認為1 s的測試執(zhí)行時間開銷較大，還可以根據實際情況修改算法，設置合理的測試計算執(zhí)行時間的區(qū)間。

圖3

實驗結論

以上實驗數據證明，WfpSensor將PAPI和Whestone結合使用測試CPU計算能力的方法是可行的，而且準確、有效。動態(tài)計算量的選擇保證了 WfpSensor的測試計算開銷保持在合理的范圍內，PAPI提供的獨立于硬件和操作系統的編程接口保證了返回指標計數的精確性。

WfpSensor的網格應用

WfpSenor跨平臺使用的可行性

WfpSensor 的返回指標WMFLOPS可以反映出一臺主機CPU不同時刻的計算能力，可以用于相同平臺或不同平臺主機CPU計算能力的比較。首先，WMFLOPS是 Whestone程序結束后返回的MFLOPS值，浮點計算是基于操作而非指令的，所以它可以用來比較不同CPU的計算能力。其次，WMFLOPS是使用 PAPI編程接口通過CPU硬件計數器對PAPI_FP_INS事件進行計數的值除以測試進程的執(zhí)行時間t得到的，PAPI具有跨平臺性，這為 WfpSensor應用于具有較大物理異構性的網格環(huán)境提供了極大的支持；同時，PAPI_FP_INS是PAPI定義的標準化預定義事件，對于不同 CPU的比較更具參考性。

WfpSensor數據的發(fā)布

采用Globus中的監(jiān)控和發(fā)現服務（MDS）將WfpSensor測得的WMFLOPS值發(fā)布出來，供用戶查詢和訂閱。MDS的功能包括信息的發(fā)現、注冊、查詢、修改、注銷等。WfpSensor作為WMFLOPS信息的提供者通過軟狀態(tài)注冊協議向MDS進行注冊，并定期向MDS提供數據，用戶可以通過MDS系統查詢網格中各主機CPU的WMFLOPS值，用戶也可以向MDS訂閱WMFLOPS信息，從而了解WMFLOPS值的更新和變化。

CPU計算能力的比較

WMFLOPS 值反映了某一時刻主機CPU所能提供給新進程的計算能力，因此WMFLOPS值越大，則說明主機CPU所能提供的計算能力越強。例如，用戶需要選取網格中的幾個節(jié)點進行網格計算，通過MDS查詢得到網格中5個節(jié)點A，B，C，D，E的最新WMFLOPS值分別為 150.78，89.65，225.38，50.22，189.62，如果僅從CPU計算能力方面考慮，則節(jié)點選擇的順序依次為C，E，A，B，D。也可以將WMFLOPS值結合MDS提供的內存使用率等系統信息綜合考慮選擇計算節(jié)點。

綜上可見，本文提出了一種對網格中各節(jié)點CPU計算能力進行直接比較的方法。基準計算測試程序的應用保證了測試的全面性、客觀性；計算量動態(tài)選擇算法保證了測試進程既能精確地進行測試，又不至于給系統帶來過多的開銷；通過PAPI接口，利用CPU計數器對指標精確計數，保證了數據的準確性；PAPI的跨平臺性保證了本方法可以應用于軟硬件差別較大的網格環(huán)境中。實驗證明，本文方法能夠穩(wěn)定、靈敏地反映CPU的計算能力，用其比較不同CPU的計算能力正確、有效。