詳細(xì)解析眾核多計算模式系統(tǒng)的構(gòu)建
0 引言
在航空航天、醫(yī)療服務(wù)、地質(zhì)勘探等復(fù)雜應(yīng)用領(lǐng)域,需要處理的數(shù)據(jù)量急劇增大,需要高性能的實時計算能力提供支撐。與多核處理器相比,眾核處理器計算資源密度更高、片上通信開銷顯著降低、性能/功耗比明顯提高,可為實時系統(tǒng)提供強(qiáng)大的計算能力。
在復(fù)雜應(yīng)用領(lǐng)域當(dāng)中,不同應(yīng)用場景對計算的需求可能不同。例如,移動機(jī)器人在作業(yè)時,可能需要同時執(zhí)行路徑規(guī)劃、目標(biāo)識別等多個任務(wù),這些任務(wù)需要同時執(zhí)行;在對遙感圖像處理時,需要對圖像數(shù)據(jù)進(jìn)行配準(zhǔn)、融合、重構(gòu)、特征提取等多個步驟,這些步驟間既需要同時執(zhí)行,又存在前驅(qū)后繼的關(guān)系。因此,基于眾核處理器進(jìn)行計算模式的動態(tài)構(gòu)造,以適應(yīng)不同的應(yīng)用場景和應(yīng)用任務(wù)成為一種新的研究方向。文獻(xiàn)[1]研究了具有邏輯核構(gòu)造能力的眾核處理器體系結(jié)構(gòu),其基本思想是基于多個細(xì)粒度處理器核構(gòu)建成粗粒度邏輯核,將不斷增加的處理器核轉(zhuǎn)化為單線程串行應(yīng)用的性能提升。文獻(xiàn)提出并驗證了一種基于類數(shù)據(jù)流驅(qū)動模型的可重構(gòu)眾核處理器結(jié)構(gòu),實現(xiàn)了邏輯核處理器的運(yùn)行時可重構(gòu)機(jī)制。文獻(xiàn) 提出了一種支持核資源動態(tài)分組的自適應(yīng)調(diào)度算法,通過對任務(wù)簇的拆分與合并,動態(tài)構(gòu)建可彈性分區(qū)的核邏輯組,實現(xiàn)核資源的隔離優(yōu)化訪問。
GPGPU(General - Purpose Computing on GraphicsProcessing Units)作為一種典型的眾核處理器,有關(guān)研究多面向單任務(wù)并發(fā)執(zhí)行方面的優(yōu)化以及應(yīng)用算法的加速。本文以GPGPU為平臺,通過研究和設(shè)計,構(gòu)建了單任務(wù)并行、多任務(wù)并行和多任務(wù)流式處理的多計算模式處理系統(tǒng)。
1 眾核處理機(jī)
1.1 眾核處理機(jī)結(jié)構(gòu)
眾核處理機(jī)是基于眾核控制單元(MPU)與眾核處理器(GPGPU)相結(jié)合的主、協(xié)處理方式構(gòu)建而成,其邏輯結(jié)構(gòu)如圖1所示。眾核處理機(jī)由眾核控制單元和眾核計算單元兩部分組成,其中眾核控制單元采用X86結(jié)構(gòu)的MPU,與眾核計算單元之間通過PCI-E總線進(jìn)行互連。
1.2 CUDA流與Hyper-Q
在統(tǒng)一計算設(shè)備架構(gòu)(Compute Unified Device Ar-chitecture,CUDA)編程模型中,CUDA流(CUDA Stream)表示GPU的一個操作隊列,通過CUDA流來管理任務(wù)和并行。CUDA 流的使用分為兩種:一種是CUDA 在創(chuàng)建上下文時會隱式地創(chuàng)建一個CUDA流,從而命令可以在設(shè)備中排隊等待執(zhí)行;另一種是在編程時,在執(zhí)行配置中顯式地指定CUDA 流。不管以何種方式使用CUDA流,所有的操作在CUDA流中都是按照先后順序排隊執(zhí)行,然后每個操作按其進(jìn)入隊列的順序離開隊列。換言之,隊列充當(dāng)了一個FIFO(先入先出)緩沖區(qū),操作按照它們在設(shè)備中的出現(xiàn)順序離開隊列。
在GPU 中,有一個CUDA 工作調(diào)度器(CUDA WorkDistributor,CWD)的硬件單元,專門負(fù)責(zé)將計算工作分發(fā)到不同的流處理器中。在Fermi架構(gòu)中,雖然支持16 個內(nèi)核的同時啟動,但由于只有一個硬件工作隊列用來連接主機(jī)端CPU 和設(shè)備端GPU,造成并發(fā)的多個CUDA 流中的任務(wù)在執(zhí)行時必須復(fù)用同一硬件工作隊列,產(chǎn)生了虛假的流內(nèi)依賴關(guān)系,必須等待同一CUDA流中相互依賴的kernel執(zhí)行結(jié)束,另一CUDA流中的ker-nel才能開始執(zhí)行。而在Kepler GK110架構(gòu)中,新具有的Hyper-Q特性消除了只有單一硬件工作隊列的限制,增加了硬件工作隊列的數(shù)量,因此,在CUDA 流的數(shù)目不超過硬件工作隊列數(shù)目的前提下,允許每個CUDA流獨(dú)占一個硬件工作隊列,CUDA流內(nèi)的操作不再阻塞其他CUDA流的操作,多個CUDA流能夠并行執(zhí)行。
如圖2 所示,當(dāng)利用Hyper-Q 和CUDA 流一起工作時,虛線上方顯示為Fermi模式,流1、流2、流3 復(fù)用一個硬件工作隊列,而虛線下方為Kepler Hyper-Q 模式,允許每個流使用單獨(dú)的硬件工作隊列同時執(zhí)行。
2 眾核多計算模式處理框架
為了充分發(fā)揮眾核處理器的計算能力,眾核處理系統(tǒng)面對不同的計算任務(wù)的特點(diǎn),可構(gòu)建三種計算模式,即單任務(wù)并行計算、多任務(wù)并行計算、多任務(wù)流式計算。
2.1 眾核多計算模式處理系統(tǒng)結(jié)構(gòu)
眾核多計算模式處理系統(tǒng)結(jié)構(gòu)如圖3 所示。眾核處理系統(tǒng)包括數(shù)據(jù)通信、任務(wù)管理、形態(tài)管理、資源管理和控制監(jiān)聽模塊。
數(shù)據(jù)通信模塊:提供接口給主控機(jī),負(fù)責(zé)接收從主控機(jī)發(fā)送來的任務(wù)命令和任務(wù)計算所需的任務(wù)數(shù)據(jù),并且最終將眾核處理機(jī)運(yùn)算完成的計算結(jié)果通過該模塊返回給主控機(jī)。
控制監(jiān)聽模塊:在眾核處理系統(tǒng)運(yùn)行時,實時獲取主控機(jī)發(fā)送給眾核處理機(jī)的任務(wù)命令,將其傳送給任務(wù)管理模塊,并接收任務(wù)管理模塊返回的任務(wù)命令執(zhí)行結(jié)果。
任務(wù)管理模塊:負(fù)責(zé)計算任務(wù)的加載過程,將控制監(jiān)聽模塊發(fā)送來的任務(wù)命令存于任務(wù)隊列,當(dāng)眾核計算單元需要加載任務(wù)進(jìn)行計算時,從任務(wù)隊列中獲取任務(wù)命令,根據(jù)任務(wù)命令從任務(wù)配置文件中獲取任務(wù)計算所需的任務(wù)信息,該任務(wù)信息包含了計算任務(wù)運(yùn)行時所需的存儲空間大小、適合于該任務(wù)的計算模式、執(zhí)行函數(shù)(即CUDA中的kernel函數(shù))等內(nèi)容,在計算任務(wù)在被加載前,需要通知形態(tài)管理模塊把眾核計算單元切換到指定的計算模式下,并通知資源管理模塊分配存儲空間,通過數(shù)據(jù)通信模塊獲取任務(wù)數(shù)據(jù),然后讀取任務(wù)計算庫,加載執(zhí)行函數(shù)進(jìn)行計算。
形態(tài)管理模塊:接收任務(wù)管理模塊發(fā)送來的目標(biāo)計算模式,切換到該種計算模式。
資源管理模塊:根據(jù)任務(wù)管理模塊發(fā)送的參數(shù)分配存儲空間,包括眾核控制單元的存儲空間和眾核計算單元的存儲空間,眾核控制單元的存儲空間用于對任務(wù)數(shù)據(jù)進(jìn)行緩存,然后通過數(shù)據(jù)傳輸?shù)腁PI接口把緩存在眾核控制單元的數(shù)據(jù)傳送到眾核計算單元的存儲空間,在計算時由從眾核計算單元存儲空間加載數(shù)據(jù)進(jìn)行計算。
[!--empirenews.page--]2.2 計算模式構(gòu)建與切換
計算模式構(gòu)建是形態(tài)管理模塊根據(jù)接收到的命令動態(tài)構(gòu)建出被指定的目的計算模式的過程。眾核處理系統(tǒng)在初始化時,就已經(jīng)創(chuàng)建了指定數(shù)目的CUDA 流(CUDA流的最大數(shù)目取決于GPU中硬件工作隊列的數(shù)目),并采用空位標(biāo)記法對創(chuàng)建的CUDA流進(jìn)行管理,通過標(biāo)記位的有效性描述CUDA 流的可用性。當(dāng)目的計算模式為單任務(wù)計算時,只需將首位的CUDA流標(biāo)記設(shè)置為有效,其他全部標(biāo)記為無效,在對計算任務(wù)加載時,將計算任務(wù)放入該CUDA流中進(jìn)行計算;當(dāng)目的計算模式為多任務(wù)計算時,需要將指定數(shù)目CUDA流的標(biāo)記位設(shè)置為有效,在對計算任務(wù)加載時,通過輪詢的方式將計算任務(wù)放入到相應(yīng)的CUDA 流中,利用CUDA 流的Hyper-Q特性,同時加載多個計算任務(wù)到眾核計算單元;當(dāng)目的計算模式為多任務(wù)流式計算時,需要將指定CUDA 流的標(biāo)記設(shè)置為有效,從構(gòu)建第一個計算步開始,將第一個計算步放入第一個CUDA 流中進(jìn)行計算,當(dāng)?shù)谝粋€計算步首次完成計算后,利用二元信號量通知眾核控制單元中的任務(wù)管理模塊開始構(gòu)建第二個計算步,并重新構(gòu)建第一個計算步,以此類推,完成對多任務(wù)流式計算中每個計算步的動態(tài)構(gòu)建過程。
計算模式的切換是當(dāng)眾核計算單元的當(dāng)前計算模式與計算任務(wù)執(zhí)行需要的計算模式(即目的計算模式)不匹配時,需要對眾核計算單元的計算模式進(jìn)行切換,以適應(yīng)計算模式變化的需求。
在從任務(wù)配置文件中獲取適應(yīng)于計算任務(wù)執(zhí)行的目的計算模式后,首先與當(dāng)前計算模式進(jìn)行比較,若匹配成功則不需要進(jìn)行計算模式的切換;若匹配失敗則進(jìn)一步判斷眾核在當(dāng)前計算模式下是否空閑,如處于忙碌狀態(tài)則需要等待,對于不同優(yōu)先級的任務(wù)設(shè)有不同的等待時限,以保證對計算任務(wù)的及時響應(yīng),當(dāng)大于這一時限時強(qiáng)制結(jié)束正在運(yùn)行的任務(wù)以釋放計算資源,從而構(gòu)建新的計算模式,完成計算模的切換過程,流程圖如圖4 所示。
2.3 共享內(nèi)存緩沖技術(shù)
眾核計算單元在對主控機(jī)請求的計算任務(wù)加載前,必須獲取來自主控機(jī)的任務(wù)數(shù)據(jù),為了實現(xiàn)對任務(wù)數(shù)據(jù)的接收和發(fā)送,需要建立相應(yīng)的數(shù)據(jù)緩沖區(qū)。傳統(tǒng)的方法是采用消息隊列和基于共享內(nèi)存信號燈的方式來建立和管理數(shù)據(jù)緩沖區(qū),但當(dāng)數(shù)據(jù)的寫入和讀取速度差別較大時,容易造成數(shù)據(jù)緩沖區(qū)的阻塞。因此采用一種可滑動動態(tài)共享內(nèi)存緩沖技術(shù),如圖5所示。
在眾核控制單元的存儲空間中申請存儲空間作為存放數(shù)據(jù)的緩沖池,按需要建立指定數(shù)量的單向指針鏈表,每個指針鏈表代表一個數(shù)據(jù)緩沖區(qū),在眾核處理系統(tǒng)的計算模式切換時,可根據(jù)并行任務(wù)數(shù)目的變化修改指針鏈表的節(jié)點(diǎn)數(shù),使每個數(shù)據(jù)緩沖區(qū)占用的存儲空間按需滑動,以提高整個數(shù)據(jù)緩池數(shù)據(jù)的傳遞效率。
2.4 計算庫動態(tài)加載
在對計算任務(wù)的執(zhí)行函數(shù)進(jìn)行加載時,采用動態(tài)共享庫的方式,因為動態(tài)鏈接的共享庫具有動態(tài)加載、封裝實現(xiàn)、節(jié)省內(nèi)存等優(yōu)點(diǎn),可以把眾核計算單元的執(zhí)行函數(shù)與邏輯控制程序相隔離,降低了眾核計算與邏輯控制的耦合度,增加了可擴(kuò)展性和靈活性。
在動態(tài)加載計算庫前,需要將執(zhí)行函數(shù)編譯生成動態(tài)共享庫,進(jìn)而在程序中進(jìn)行顯示調(diào)用。當(dāng)調(diào)用時使用動態(tài)加載API,該過程首先調(diào)用dlopen以打開指定名字的動態(tài)共享庫,并獲得共享對象的句柄;而后通過調(diào)用dlsym,根據(jù)動態(tài)共享庫操作句柄與符號獲取該符號對應(yīng)的函數(shù)的執(zhí)行代碼地址;在取得執(zhí)行代碼地址后,就可以根據(jù)共享庫提供的接口調(diào)用與計算任務(wù)對應(yīng)的執(zhí)行函數(shù),將執(zhí)行函數(shù)發(fā)射到眾核計算單元,由眾核計算單元根據(jù)執(zhí)行函數(shù)的配置參數(shù)組織計算資源進(jìn)行計算;當(dāng)不會再調(diào)用共享對象時調(diào)用dlclose關(guān)閉指定句柄的動態(tài)共享庫。
3 結(jié)語
針對復(fù)雜應(yīng)用領(lǐng)域計算任務(wù)對多種計算模式的需求,本文研究了眾核處理機(jī)結(jié)構(gòu),根據(jù)NVIDIA KeplerGK110架構(gòu)中Hyper-Q 與CUDA 流的特性,構(gòu)建了可單任務(wù)并行計算、多任務(wù)并行計算、多任務(wù)流式計算間動態(tài)切換的眾核多計算模式系統(tǒng),能夠提高實時計算平臺的靈活性,以適應(yīng)不同的任務(wù)計算需求。下一步的研究方向是挖掘GPU中硬件工作鏈路與SM(Streaming Mul-tiprocessor)間的映射機(jī)制。