云計算中先進(jìn)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施平臺的工作流程以及環(huán)境建設(shè)

科學(xué)的進(jìn)步與高效使用高性能計算基礎(chǔ)架構(gòu)以及從大量數(shù)據(jù)中有效提取知識緊密相關(guān)。此類數(shù)據(jù)來自不同來源，這些來源遵循一個周期，該周期由用于數(shù)據(jù)管理的預(yù)處理步驟和為后續(xù)計算步驟準(zhǔn)備以及隨后應(yīng)用于結(jié)果的后續(xù)分析和分析步驟組成。

1592186506453

但是，科學(xué)工作流目前分散在多個組件中，具有用于計算和數(shù)據(jù)管理的不同過程，并且在所涉及的用戶配置文件的觀點(diǎn)上存在差距。我們的愿景是，未來的工作流程環(huán)境和用于開發(fā)科學(xué)工作流程的工具應(yīng)遵循整體方法，其中數(shù)據(jù)和計算都集成在基于簡單，高級界面的單一流程中。我們提出的研究主題涉及新穎的方式來表達(dá)集成了不同數(shù)據(jù)和計算過程的工作流，動態(tài)運(yùn)行時以有效的方式在性能和能源方面支持復(fù)雜和異構(gòu)計算基礎(chǔ)架構(gòu)中工作流的執(zhí)行。

。這些基礎(chǔ)設(shè)施包括高度分散的資源，從傳感器和儀器以及邊緣設(shè)備到高性能計算和云計算資源。本文介紹了我們開發(fā)這些工作流環(huán)境的愿景，以及我們目前正在實(shí)現(xiàn)該愿景的步驟。動態(tài)運(yùn)行時，以高效和高效的方式支持復(fù)雜和異構(gòu)計算基礎(chǔ)架構(gòu)中工作流的執(zhí)行。這些基礎(chǔ)設(shè)施包括高度分散的資源，從傳感器和儀器以及邊緣設(shè)備到高性能計算和云計算資源。

本文介紹了我們開發(fā)這些工作流環(huán)境的愿景，以及我們目前正在實(shí)現(xiàn)該愿景的步驟。動態(tài)運(yùn)行時，以高效和高效的方式支持復(fù)雜和異構(gòu)計算基礎(chǔ)架構(gòu)中工作流的執(zhí)行。這些基礎(chǔ)設(shè)施包括高度分散的資源，從傳感器和儀器以及邊緣設(shè)備到高性能計算和云計算資源。本文介紹了我們開發(fā)這些工作流環(huán)境的愿景，以及我們目前正在實(shí)現(xiàn)該愿景的步驟。

本文提出了我們的愿景和路線圖，以開發(fā)新的環(huán)境和工具來支持科學(xué)社區(qū)，并使科學(xué)工作流程的生產(chǎn)力大幅提高。需要考慮的變量有很多：科學(xué)應(yīng)用越來越復(fù)雜；數(shù)據(jù)量巨大且性質(zhì)多樣，這一問題也越來越復(fù)雜；科學(xué)家可以使用的軟件組件和工具數(shù)量龐大且難以使用；計算、存儲和其他基礎(chǔ)設(shè)施資源的復(fù)雜性和多樣性也在增加。

所有這些都阻礙了科學(xué)家把注意力集中在需要解決的實(shí)際問題上，造成了與之抗?fàn)幍目茖W(xué)界浪費(fèi)的時間和資源，延緩了科學(xué)的發(fā)展。更好的科學(xué)工作流程開發(fā)方法將產(chǎn)生影響，首先是通過加快可能的新發(fā)現(xiàn)，而現(xiàn)在不可能的新科學(xué)應(yīng)用將成為事實(shí)。由于這些科學(xué)進(jìn)步，這有可能產(chǎn)生直接的社會影響。此外，不可忽視的是，科學(xué)界正在以不科學(xué)的方式使用大型計算和存儲基礎(chǔ)設(shè)施，這會帶來經(jīng)濟(jì)和能源成本。

有了這種新穎的工作流環(huán)境和工具，科學(xué)家們將能夠同時處理涉及高性能計算機(jī)應(yīng)用、機(jī)器學(xué)習(xí)和大數(shù)據(jù)組件的工作流。該項(xiàng)目開發(fā)的新方法將有助于更有效地利用基礎(chǔ)設(shè)施，降低所需成本和能源，從而減少碳足跡，因?yàn)楦咝阅芑炷梁推渌A(chǔ)設(shè)施消耗的能源是不可忽視的。

一、 介紹和運(yùn)動

大規(guī)模計算是一種使研究和

不同領(lǐng)域的進(jìn)展，例如個性化醫(yī)學(xué)、氣候預(yù)測或基因組學(xué)，其結(jié)果可能會產(chǎn)生社會影響。這些研究學(xué)科中的大多數(shù)都有一個共同因素，即不同類型的來源（遙感器、主要科學(xué)儀器、衛(wèi)星、來自智能城市項(xiàng)目的無數(shù)分布式傳感器等）產(chǎn)生的大量輸入數(shù)據(jù)，其性質(zhì)是異構(gòu)的，需要大量存儲。所有這些輸入數(shù)據(jù)都經(jīng)過不同的預(yù)處理步驟，以將原始數(shù)據(jù)轉(zhuǎn)換為可用的輸入數(shù)據(jù)，如同質(zhì)化為單一格式、縮減、過濾等。

這些數(shù)據(jù)用作復(fù)雜模擬或建模過程的輸入數(shù)據(jù)，傳統(tǒng)上，這些模擬或建模過程是在大型高性能計算（HPC）基礎(chǔ)設(shè)施中執(zhí)行的，其目的是生成預(yù)測或?qū)?shí)際過程進(jìn)行模擬（如預(yù)測明天的天氣或?qū)o定藥物的行為進(jìn)行建模）一種特殊的疾?。＿@些高性能計算過程產(chǎn)生了大量的輸出數(shù)據(jù)，在某些情況下也是異質(zhì)性的，這些數(shù)據(jù)后來被分析和簡化，用于用實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證預(yù)測和推論，是獲得新的科學(xué)發(fā)現(xiàn)的來源。例如，氣候變化試驗(yàn)耦合模式相互比較項(xiàng)目第6階段（CMIP6）將在31個中心之間進(jìn)行，將涉及52個天氣和氣候模式。本實(shí)驗(yàn)輸出數(shù)據(jù)所需的存儲量估計為60pbytes[1]。

上面描述的內(nèi)容與計算社區(qū)聯(lián)盟（Computing Community Consortium）最近的一份白皮書中描述的內(nèi)容相匹配，該白皮書提供了科學(xué)過程的一般視圖[2]。本出版物支持科學(xué)方法的經(jīng)典觀點(diǎn)，認(rèn)為科學(xué)方法是一個復(fù)雜的推理過程，它試圖通過一個徹底的、可控的觀察來理解自然。根據(jù)這一觀點(diǎn)，科學(xué)過程由三個推理步驟組成：推斷（即猜測一個解釋）、推斷（即確定一組命題的必要結(jié)果）和歸納（即進(jìn)行基于抽樣的概括）。

圖1展示了大數(shù)據(jù)和極端規(guī)模計算（BDEC）在最近發(fā)表的白皮書[3]中看到的該模型的這些關(guān)鍵邏輯元素的版本，BDEC是我們參與的一項(xiàng)國際倡議，其重點(diǎn)是如何實(shí)現(xiàn)高端數(shù)據(jù)分析（HDA）和高性能計算（HPC）的融合。雖然誘拐和歸納階段意味著分析和分析過程（HDA技術(shù)）的使用，但演繹階段通常是HPC過程。然而，到目前為止，科學(xué)過程的三個不同步驟都是通過分離的方法和工具實(shí)現(xiàn)的，缺乏集成，對整個過程缺乏共同的看法。BDEC的主要建議是解決這兩種模式之間分裂的基本問題：HPC/HDA軟件生態(tài)系統(tǒng)分裂。

雖然HPC和HDA是科學(xué)進(jìn)步所必需的，但傳統(tǒng)的科學(xué)計算工作流程被分割成不同的部分，HPC和HDA階段使用不同的編程模型和不同的環(huán)境，導(dǎo)致缺乏全局視角。此外，海量數(shù)據(jù)及其格式的異構(gòu)性，阻礙了科學(xué)結(jié)論的產(chǎn)生。

此外，過程中涉及的不同技術(shù)和科學(xué)成果的重點(diǎn)可能不同。雖然從計算機(jī)科學(xué)的角度來看，重點(diǎn)一直放在用于進(jìn)行預(yù)測/模擬的編程模型和應(yīng)用程序上，但科學(xué)應(yīng)用程序的開發(fā)人員更重視問題的數(shù)據(jù)方面：元數(shù)據(jù)和可追溯性對他們至關(guān)重要。

所有這些差異和關(guān)注點(diǎn)都因當(dāng)前計算基礎(chǔ)設(shè)施的復(fù)雜性而增加：在大型高性能計算機(jī)系統(tǒng)中發(fā)現(xiàn)運(yùn)行非常不合理的科學(xué)工作流是很常見的（使用的可能性能百分比很低）。我們面臨著新的處理器架構(gòu)和不同類型的處理器（通用處理器、圖形處理器、可編程設(shè)備）、新的持久性存儲技術(shù)以及將這些復(fù)雜系統(tǒng)的所有元素互連的新方法。HPC系統(tǒng)將與公共和私有云基礎(chǔ)設(shè)施相結(jié)合，更重要的是，未來科學(xué)工作流程將要執(zhí)行的系統(tǒng)還將包括邊緣設(shè)備，如傳感器或科學(xué)儀器，這些設(shè)備將流式傳輸連續(xù)的數(shù)據(jù)流，同樣地，科學(xué)家們希望將結(jié)果流式輸出，以便對科學(xué)結(jié)果進(jìn)行監(jiān)控、流式傳輸和可視化，以實(shí)現(xiàn)互動性。此外，信息和通信技術(shù)進(jìn)程的碳足跡也是一個令人擔(dān)憂的問題，減少碳足跡將是晚上9點(diǎn)“地平線歐洲”的目標(biāo)之一。科學(xué)應(yīng)用程序開發(fā)人員正努力解決所有這些問題，這使得整體科學(xué)工作的開發(fā)變得非常復(fù)雜。

本文提出了我們在工作流程環(huán)境和工具方面的研究建議，以便按照一種整體方法開發(fā)科學(xué)工作流程，這種方法將數(shù)據(jù)和計算過程放在同一個層面上，并基于簡單和高級的接口集成在一個單一的流程中，同時，智能運(yùn)行時能夠以節(jié)能的方式利用底層計算連續(xù)體基礎(chǔ)設(shè)施的性能。

論文結(jié)構(gòu)如下：第二節(jié)介紹了國內(nèi)外研究現(xiàn)狀及相關(guān)工作中涉及的課題。第三節(jié)介紹了BDEC倡議和本研究中考慮的基礎(chǔ)設(shè)施，而第四節(jié)則介紹了我們對這些基礎(chǔ)設(shè)施的工作流環(huán)境開發(fā)的愿景。第五節(jié)提出了一些關(guān)于工作流程環(huán)境中現(xiàn)有多學(xué)科用戶產(chǎn)品的想法，以及匹配這些不同產(chǎn)品所需的必要抽象級別。第六節(jié)介紹了本集團(tuán)為實(shí)現(xiàn)上述愿景而正在進(jìn)行的工作，以及我們計劃如何實(shí)現(xiàn)這一愿景。最后，第七節(jié)對論文進(jìn)行了總結(jié)。

全文請點(diǎn)擊下載pdf版：https://arxiv.org/pdf/2006.07066.pdf