基于機器學(xué)習(xí)平臺如何獲取、處理和保留數(shù)據(jù)

人工智能和機器學(xué)習(xí)已成為兩個最重要的工具，它們可幫助企業(yè)利用其核心數(shù)字資產(chǎn)創(chuàng)造競爭優(yōu)勢。但是在購買AI數(shù)據(jù)存儲之前，企業(yè)必須考慮各種需求–基于機器學(xué)習(xí)平臺如何獲取、處理和保留數(shù)據(jù)。

首先我們應(yīng)確定機器學(xué)習(xí)軟件使用的數(shù)據(jù)的生命周期，因為這可幫助企業(yè)了解在為AI選擇存儲時需要考慮的因素。最初，企業(yè)必須獲取數(shù)據(jù)來訓(xùn)練機器學(xué)習(xí)或AI算法，這里涉及軟件工具來處理數(shù)據(jù)以學(xué)習(xí)任務(wù)，例如識別對象、處理視頻和跟蹤運動。而這些數(shù)據(jù)可能來自多種來源，并且通常本質(zhì)上是非結(jié)構(gòu)化的，例如對象和文件。

這個訓(xùn)練過程將獲取數(shù)據(jù)資產(chǎn)，并使用機器學(xué)習(xí)或AI軟件來創(chuàng)建算法以用于處理未來數(shù)據(jù)源。在訓(xùn)練或開發(fā)算法時，AI軟件將處理源數(shù)據(jù)來開發(fā)模型，從而創(chuàng)建洞察力或滿足業(yè)務(wù)需求。

開發(fā)機器學(xué)習(xí)算法很少是單一流程。隨著企業(yè)積累新數(shù)據(jù)，算法會得到完善和改進。這意味著幾乎沒有數(shù)據(jù)被丟棄，而是隨著時間的推移不斷增加和重新處理。

購買AI數(shù)據(jù)存儲的標準

在為AI平臺選擇存儲前，企業(yè)必須首先考慮以下事項：

成本。對于企業(yè)而言，AI數(shù)據(jù)存儲的價格是關(guān)鍵因素。顯然，最高管理層和采購決策人員都希望存儲盡可能具有成本效益，并且在許多情況下，這將影響企業(yè)的產(chǎn)品選擇和策略。

可擴展性。我已經(jīng)強調(diào)創(chuàng)建機器學(xué)習(xí)或AI模型需要收集、存儲和處理大量數(shù)據(jù)。機器學(xué)習(xí)算法要求源數(shù)據(jù)呈指數(shù)增長，以實現(xiàn)精確度的線性提高。創(chuàng)建可靠而準確的機器學(xué)習(xí)模型可能需要數(shù)百TB甚至PB的數(shù)據(jù)，而且這只會隨著時間的推移而增加。

而構(gòu)建PB級存儲系統(tǒng)通常意味著使用對象存儲或橫向擴展文件系統(tǒng)?，F(xiàn)代對象存儲肯定可以解決AI工作負載的容量需求，但是它們可能無法滿足其他標準，例如高性能。另一方面，橫向擴展文件系統(tǒng)可以提供高性能和良好的可擴展性，但在單個平臺存儲整個數(shù)據(jù)集可能會很昂貴。同時，考慮到可擴展性要求和高容量產(chǎn)品的成本，塊存儲通常不是機器學(xué)習(xí)或AI的正確選擇。這里唯一的例外是在公共云中，稍后我們將對此進行討論。

存儲成本的變化引入了分層或使用多種類型存儲來存儲數(shù)據(jù)的想法。例如，對象存儲庫是存儲大量非活動AI數(shù)據(jù)的好辦法。當(dāng)需要數(shù)據(jù)進行處理時，數(shù)據(jù)可被移動到高性能文件存儲集群或為高性能而設(shè)計的對象存儲的節(jié)點中，當(dāng)完成處理，數(shù)據(jù)將被移回。

性能。AI數(shù)據(jù)的存儲性能包括三個方面。首先，可能也是最重要的是延遲性。這定義了軟件發(fā)出的每個I / O請求的處理速度。低延遲很重要，因為改善延遲會直接影響創(chuàng)建機器學(xué)習(xí)或AI模型所需的時間。復(fù)雜的模型開發(fā)可能需要數(shù)周或數(shù)月的時間才能運行。通過縮短此開發(fā)周期，企業(yè)可以更快地創(chuàng)建和完善模型。在檢查延遲功能時，由于對象訪問的流性質(zhì)，對象將參考傳送首字節(jié)的時間(Time To First Byte)，而不是單個I / O請求的延遲。

性能的另一個方面是吞吐量，以及數(shù)據(jù)寫入存儲平臺或從存儲平臺讀取數(shù)據(jù)的速度。系統(tǒng)吞吐量很重要，因為AI培訓(xùn)會處理大量數(shù)據(jù)集，通常會反復(fù)讀取和重新讀取相同的數(shù)據(jù)，以準確地開發(fā)模型。機器學(xué)習(xí)和AI數(shù)據(jù)的來源(例如自動駕駛汽車上的傳感器)每天可以產(chǎn)生數(shù)TB的新數(shù)據(jù)。所有這些信息都必須添加到現(xiàn)有數(shù)據(jù)存儲中，并且需確保對任何現(xiàn)有處理只有最小影響。

性能的最后一個方面是并行訪問。機器學(xué)習(xí)和AI算法會并行處理數(shù)據(jù)，運行多個任務(wù)，這些任務(wù)會多次讀取同一數(shù)據(jù)且跨多個并行任務(wù)。對象存儲擅長并行讀取I / O處理，因為不需要管理對象鎖定或?qū)傩?。文件服?wù)器會跟蹤內(nèi)存中打開的I / O請求或文件句柄。因此，活躍I / O請求的數(shù)量取決于平臺上可用的內(nèi)存。

此外，機器學(xué)習(xí)數(shù)據(jù)可能包含大量的小文件。在這方面文件服務(wù)器可以提供比對象存儲更好的性能。企業(yè)可向AI存儲供應(yīng)商提出的關(guān)鍵問題是，當(dāng)面對大文件類型或小文件類型，其產(chǎn)品的性能特征將如何發(fā)生變化。

可用性和耐用性。機器學(xué)習(xí)和AI學(xué)習(xí)模型需要長時間連續(xù)運行。通過訓(xùn)練開發(fā)算法可能需要幾天或幾周的時間。在此期間，存儲系統(tǒng)必須保持持續(xù)可用，這意味著任何升級、技術(shù)更換或擴展都不能停機。

在大型系統(tǒng)中，組件故障是正?，F(xiàn)象，但必須確保不會導(dǎo)致停機。這意味著用于AI??的任何平臺都應(yīng)該能夠從設(shè)備(例如HDD或SSD)以及節(jié)點或服務(wù)器故障中恢復(fù)。對此，對象存儲使用擦除編碼將數(shù)據(jù)廣泛分布在很多節(jié)點中，并可使組件故障的影響降至最低。還有些擦除編碼技術(shù)可橫向擴展文件系統(tǒng)以提供同等級別的彈性。擦除編碼方案的效率很重要，因為這直接與讀寫I / O的性能有關(guān)，尤其是對于小文件。

由于大多數(shù)大型對象存儲太大而無法定期備份，因此可靠的擦除編碼將成為AI存儲平臺的基本功能。

公共云。開發(fā)機器學(xué)習(xí)和AI算法既需要高性能存儲又需要高性能計算。很多AI系統(tǒng)都是基于GPU(例如Nvidia DGX)，這可移除開發(fā)精確算法所涉及的很多復(fù)雜數(shù)學(xué)計算。

公共云服務(wù)提供商已開始提供可用于機器學(xué)習(xí)的GPU加速虛擬實例。在公共云中運行機器學(xué)習(xí)工具可降低構(gòu)建為機器學(xué)習(xí)開發(fā)構(gòu)建基礎(chǔ)架構(gòu)的資本成本，同時可擴展基礎(chǔ)設(shè)施以開發(fā)機器學(xué)習(xí)模型。

使用公共云計算的挑戰(zhàn)是如何以經(jīng)濟高效且實用的方式將數(shù)據(jù)導(dǎo)入公共云?；谠频膶ο蟠鎯μ?，無法滿足機器學(xué)習(xí)的I / O需求;因此，必須使用本地塊存儲。然而，在移動數(shù)據(jù)時，每分鐘延遲都會提高運行基礎(chǔ)架構(gòu)的成本，還有執(zhí)行機器學(xué)習(xí)的延遲。

公共云的另一個問題是數(shù)據(jù)轉(zhuǎn)出的成本。盡管云服務(wù)提供商不收取將數(shù)據(jù)移入其平臺的費用，但他們會對從其平臺外部的公共網(wǎng)絡(luò)訪問數(shù)據(jù)收取費用。因此，雖然公共云提供計算靈活性，但是在公共云可能難以確保及時且經(jīng)濟高效地將數(shù)據(jù)移入和移出云。

供應(yīng)商正在開發(fā)存儲產(chǎn)品，以公共云中運行其產(chǎn)品，跨越本地和云端。這些產(chǎn)品可以有效地復(fù)制數(shù)據(jù)或?qū)?shù)據(jù)移至云中，并且在完成后僅將結(jié)果移回。這些復(fù)制技術(shù)具有高帶寬效率，使在本地存儲數(shù)據(jù)并導(dǎo)入到云中進行分析工作變得切實可行。

整合。在整篇文章中，我們都著眼于機器學(xué)習(xí)和AI的存儲方面。構(gòu)建AI數(shù)據(jù)存儲可能會很困難，我們需要考慮多種因素以確保存儲網(wǎng)絡(luò)和調(diào)整存儲可配合機器學(xué)習(xí)應(yīng)用程序。

正如我撰寫的有關(guān)融合基礎(chǔ)架構(gòu)的文章所述，預(yù)包裝產(chǎn)品使供應(yīng)商能夠在將產(chǎn)品交付給客戶之前對其產(chǎn)品進行測試和優(yōu)化?，F(xiàn)在市面上有些存儲產(chǎn)品整合了流行的AI軟件、(通用CPU和GPU等)計算、網(wǎng)絡(luò)和存儲，以提供支持AI就緒的平臺。在部署這些系統(tǒng)之前，很多細節(jié)調(diào)試工作已完成。盡管成本可能是問題，但對于很多客戶而言，預(yù)包裝的系統(tǒng)可以減少部署AI存儲的障礙。

當(dāng)然，選擇正確的AI數(shù)據(jù)存儲平臺需要權(quán)衡指標，例如性能、可擴展性和成本。正確設(shè)置存儲平臺至關(guān)重要，因為這里涉及的數(shù)據(jù)量非常大，選擇錯誤的產(chǎn)品可能會代價高昂。與任何存儲產(chǎn)品決策一樣，企業(yè)應(yīng)該與供應(yīng)商交談，以準確了解其產(chǎn)品如何滿足AI和機器學(xué)習(xí)的需求。這個過程應(yīng)包括展示和評估，作為任何潛在購買決策的前提。
作者：Chris Evans來源：TechTarget中國