物聯(lián)網(wǎng)分布式存儲(chǔ)技術(shù)的應(yīng)用與分析

引 言

近年來，隨著網(wǎng)絡(luò)技術(shù)和通信技術(shù)，特別是無線通信技術(shù)的快速發(fā)展，人類社會(huì)逐漸進(jìn)入物物相聯(lián)的時(shí)代。雖然物與物之間的信息交換單次信息量不大，但由于終端數(shù)量龐大， 將會(huì)生成海量數(shù)據(jù)。如何更好地存儲(chǔ)這些數(shù)據(jù)是物聯(lián)網(wǎng)絡(luò)系統(tǒng)建設(shè)者需要思考的問題。

物聯(lián)網(wǎng)行業(yè)發(fā)展現(xiàn)狀

1  20 世紀(jì) 90 年代至今，物聯(lián)網(wǎng)經(jīng)歷了漫長的發(fā)展過程。

直到 2009年，物聯(lián)網(wǎng)被正式列為國家五大新興戰(zhàn)略性產(chǎn)業(yè)之一，并寫入當(dāng)年的《政府工作報(bào)告》，隨即物聯(lián)網(wǎng)受到了社會(huì)的極大關(guān)注和大量人力、物力資源的投入，并開始迅速發(fā)展。2016年 12月18日，工業(yè)和信息化部印發(fā)的《信息通信行業(yè)發(fā)展規(guī)劃物聯(lián)網(wǎng)分冊(cè)（2016-2020年）》（簡稱《物聯(lián)網(wǎng)分冊(cè)》）指出， 2015年底我國物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模已達(dá) 7500億元，整個(gè) 十二五期間年均復(fù)合增長率達(dá)到 25%。我國機(jī)器與機(jī)器連接數(shù)突破1億，占全球總量的 31%，成為全球最大市場。 十三五 期間，隨著萬物互聯(lián)時(shí)代開啟，我國物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模也將保持高速發(fā)展勢頭，預(yù)計(jì) 2017年，產(chǎn)業(yè)規(guī)模將達(dá)到萬億級(jí)。

2 物聯(lián)網(wǎng)業(yè)務(wù)對(duì)分布式存儲(chǔ)的需求

物聯(lián)網(wǎng)分為應(yīng)用層，數(shù)據(jù)層，網(wǎng)絡(luò)層和感知層。對(duì)網(wǎng)絡(luò)層來說，雖然在物聯(lián)網(wǎng)大力發(fā)展時(shí)期將面臨大量通信節(jié)點(diǎn)暴增的挑戰(zhàn)，但按照有序發(fā)展支撐和演進(jìn)式逐步建設(shè)的規(guī)劃， 目前的網(wǎng)絡(luò)資源仍然足夠支撐業(yè)務(wù)增長。在充分利用現(xiàn)有網(wǎng)絡(luò)資源的前提下，依據(jù)業(yè)務(wù)實(shí)際增長情況逐步擴(kuò)展，分階段改造網(wǎng)絡(luò)，逐步完成網(wǎng)絡(luò)層的建設(shè)。

物聯(lián)網(wǎng)應(yīng)用所帶來的數(shù)據(jù)量和數(shù)據(jù)讀寫業(yè)務(wù)壓力不同以往，數(shù)據(jù)層所面臨的挑戰(zhàn)相對(duì)而言更大。與傳統(tǒng)業(yè)務(wù)相比， 這方面的需求都呈指數(shù)級(jí)增長，遠(yuǎn)高于現(xiàn)有系統(tǒng)的承載能力。物聯(lián)網(wǎng)的典型應(yīng)用通常包括海量傳感器，數(shù)量可達(dá)數(shù)百萬個(gè)，采樣頻率也較高。雖然單個(gè)數(shù)據(jù)并不大，但積少成多，因此數(shù)據(jù)總量非?？捎^。這兩種情況的結(jié)合，即要求存儲(chǔ)系統(tǒng)能并發(fā)處理數(shù)百萬個(gè)傳感器的高頻數(shù)據(jù)寫入，并發(fā)壓力和傳統(tǒng)生產(chǎn)系統(tǒng)有著數(shù)十倍乃至上百倍的差異。一個(gè)典型的物聯(lián)網(wǎng)存儲(chǔ)子系統(tǒng)可能需要支持?jǐn)?shù)千億個(gè)小文件的存儲(chǔ)，同時(shí)需提供超高的并發(fā)讀寫性能支撐。

由于視頻監(jiān)控也是典型的物聯(lián)網(wǎng)應(yīng)用，來自各類固定、移動(dòng)監(jiān)控?cái)z像頭甚至無人機(jī)的監(jiān)控錄像和高清圖片也是物聯(lián)網(wǎng)存儲(chǔ)系統(tǒng)所要處理的數(shù)據(jù)類型。此類數(shù)據(jù)類型通常是連續(xù)的視頻流，而并發(fā)的高帶寬和海量存儲(chǔ)空間需求也是前所未有的巨大挑戰(zhàn)。同時(shí)，由于物聯(lián)網(wǎng) 物 的特征，很多時(shí)候并不需要像人類參與的工種一樣有典型的時(shí)間周期，物聯(lián)網(wǎng)系統(tǒng)經(jīng)常全年無休，每時(shí)每刻都在不知疲倦地產(chǎn)生數(shù)據(jù)，同時(shí)由于業(yè)務(wù)本身持續(xù)不斷，因此對(duì)存儲(chǔ)系統(tǒng)的高可用性也有很強(qiáng)的需求。

從數(shù)據(jù)類型上看，相對(duì)傳統(tǒng)業(yè)務(wù)的結(jié)構(gòu)化數(shù)據(jù)占比較高， 物聯(lián)網(wǎng)應(yīng)用和新業(yè)務(wù)將產(chǎn)生大量的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)， 這也將對(duì)存儲(chǔ)系統(tǒng)提出新的挑戰(zhàn)。

物聯(lián)網(wǎng)大規(guī)模的數(shù)據(jù)存儲(chǔ)或計(jì)算需求通過控制節(jié)點(diǎn)分發(fā)到各物理機(jī)，采用分布式存儲(chǔ)方案解決了傳統(tǒng)集中計(jì)算存儲(chǔ)存在的性能瓶頸問題和成本問題，近年來獲得了廣泛應(yīng)用。

3 分布式存儲(chǔ) CAP理論

CAP是分布式系統(tǒng)設(shè)計(jì)中的經(jīng)典理論，也是工程實(shí)施和產(chǎn)品研發(fā)中的基本理論依據(jù)，對(duì)分布式存儲(chǔ)產(chǎn)品設(shè)計(jì)、選型、實(shí)施具有指導(dǎo)意義。這一理論由EricBrewer在 2000年的PODC會(huì)議上提出，最初僅僅是一個(gè)猜想，2年后被MIT的SethGilbert和 NancyLynch證明為理論，并很快被互聯(lián)網(wǎng)企業(yè)如 Ebay，Twitter，Amazon等接受和擁護(hù)。17年來，該理論已被廣泛應(yīng)用于各類分布式系統(tǒng)設(shè)計(jì)中。CAP理論簡單說來只有一句話：在分布式系統(tǒng)中，一致性（Consistency），可用性（Availability）和分區(qū)容忍性（Partition-Tolerance）三種特性只能同時(shí)實(shí)現(xiàn)其中部分，常取其中兩種，舍棄一種。

3.1 數(shù)據(jù)一致性

如果系統(tǒng)對(duì)一個(gè)寫操作返回成功，那么之后的讀請(qǐng)求都能讀到這個(gè)新數(shù)據(jù)；如果返回失敗，那么所有讀操作都不能讀到該數(shù)據(jù)，對(duì)調(diào)用者而言，數(shù)據(jù)具有強(qiáng)一致性（Strong Consistency），又叫原子性（Atomic），線性一致性（Linearizable Consistency）。

無論對(duì)數(shù)據(jù)如何操作，該特性可保證得到的數(shù)據(jù)都是完成狀態(tài)的數(shù)據(jù)，否則操作失敗。類似于原子性的概念，一個(gè)操作必須是完整的，杜絕牽扯不清的中間狀態(tài)。對(duì)數(shù)據(jù)的修改必須保證最終數(shù)據(jù)是原子操作的合格品，否則失敗退出， 決不能出現(xiàn)修改了一半的數(shù)據(jù)半成品。例如多個(gè)應(yīng)用并發(fā)對(duì)系統(tǒng)調(diào)用時(shí)，應(yīng)用不會(huì)得到一張被另外一個(gè)應(yīng)用請(qǐng)求畫了一半的圖，或更新了上半段的說明書。

3.2 服務(wù)可用性

在指定的響應(yīng)時(shí)間窗口內(nèi)，每個(gè)操作請(qǐng)求都能到響應(yīng)并返回，不會(huì)持續(xù)等待。該特性接近實(shí)時(shí)系統(tǒng)的定義，能夠確保系統(tǒng)及時(shí)響應(yīng)，避免死鎖，從而為更多的并發(fā)業(yè)務(wù)和應(yīng)用提供 可用 的服務(wù)。

3.3 分區(qū)容忍性

保證系統(tǒng)支持分區(qū)，在分裂的情況下，各節(jié)點(diǎn)仍可正常提供服務(wù)，支撐業(yè)務(wù)和應(yīng)用。

只要還有分區(qū)存活就能給出及時(shí)響應(yīng)并提供服務(wù)。該特性保證了系統(tǒng)是可分區(qū)的，各分區(qū)都能夠獨(dú)立提供服務(wù)，配合互為備份。系統(tǒng)可以方便地進(jìn)行橫向擴(kuò)展，這種特性也是跨分區(qū)（設(shè)備）分布式系統(tǒng)最具價(jià)值之處。

CAP 理論對(duì)分布式系統(tǒng)實(shí)現(xiàn)有非常重大的影響，我們可以根據(jù)自身的業(yè)務(wù)特點(diǎn)，在數(shù)據(jù)一致性和服務(wù)可用性之間作出傾向性選擇。

4 分布式存儲(chǔ)的對(duì)稱式架構(gòu)與非對(duì)稱式架構(gòu)比較

按照元數(shù)據(jù)的管理方式，可分為對(duì)稱式集群文件系統(tǒng)和非對(duì)稱式集群文件系統(tǒng)。進(jìn)行簡單類比，非對(duì)稱式架構(gòu)是管理和數(shù)據(jù)分離，而對(duì)稱式架構(gòu)是管理和數(shù)據(jù)合一。兩者在擴(kuò)展性、健壯性、安全性和后端數(shù)據(jù)交互壓力對(duì)系統(tǒng)的影響方面存在差異。

4.1 擴(kuò)展性

對(duì)稱式架構(gòu)由于每個(gè)節(jié)點(diǎn)都承擔(dān)管理和數(shù)據(jù)雙重職責(zé)， 節(jié)點(diǎn)間通信較為復(fù)雜，導(dǎo)致節(jié)點(diǎn)數(shù)量受限于通信量。當(dāng)節(jié)點(diǎn)數(shù)量增加時(shí)，信息同步復(fù)雜度呈幾何級(jí)數(shù)增長（以 10 個(gè)節(jié)點(diǎn)為例，每個(gè)節(jié)點(diǎn)可能同時(shí)與其他 9 個(gè)節(jié)點(diǎn)通信，此時(shí)系統(tǒng)連接總數(shù)近似為 1010，若增加到 100 個(gè)節(jié)點(diǎn)，則連接總數(shù)為 9999），總體性能將大幅下降至不可接受，因此必須對(duì)集群規(guī)模加以限制。以市場成熟度最高的對(duì)稱式架構(gòu)產(chǎn)品Isilon OneFS 為例， 雖然官方宣稱最大集群規(guī)模為 144 個(gè)節(jié)點(diǎn)，但在實(shí)際部署中，絕大多數(shù)都只拆分成 10 個(gè)節(jié)點(diǎn)左右。

非對(duì)稱式架構(gòu)由專用的服務(wù)器維護(hù)元數(shù)據(jù)，實(shí)現(xiàn)管理和數(shù)據(jù)分離，擴(kuò)展性良好。節(jié)點(diǎn)增加帶來的元數(shù)據(jù)復(fù)雜度呈線性， 因而集群性能能夠?qū)崿F(xiàn)線性擴(kuò)展，在業(yè)界廣泛采用。全球 Top 100的集群存儲(chǔ)系統(tǒng)中，鮮有采用對(duì)稱式架構(gòu)，Top10中更是全部采用非對(duì)稱式架構(gòu)。

4.2 健壯性和安全性

對(duì)稱式架構(gòu)的多個(gè)節(jié)點(diǎn)間耦合性緊。如果某單個(gè)節(jié)點(diǎn)出現(xiàn)問題，響應(yīng)超時(shí)得不到應(yīng)答，將會(huì)影響整個(gè)集群的性能。一旦某單個(gè)節(jié)點(diǎn)發(fā)生嚴(yán)重故障，將導(dǎo)致文件系統(tǒng)元數(shù)據(jù)的一致性被破壞，后果嚴(yán)重。輕則丟失數(shù)據(jù)或不一致，重則系統(tǒng)整體癱瘓，無法提供存儲(chǔ)服務(wù)。

在非對(duì)稱式架構(gòu)中，節(jié)點(diǎn)間采用松耦合機(jī)制，可以很好地隔離數(shù)據(jù)節(jié)點(diǎn)故障，系統(tǒng)的健壯性更強(qiáng)。

4.3 后端數(shù)據(jù)交互壓力對(duì)系統(tǒng)的影響

由于分布式系統(tǒng)數(shù)據(jù)分散存放在不同的節(jié)點(diǎn)，因而出現(xiàn)磁盤故障或節(jié)點(diǎn)故障時(shí)不可避免地會(huì)進(jìn)行跨界點(diǎn)的數(shù)據(jù)重構(gòu)。在對(duì)稱式架構(gòu)中，數(shù)據(jù)路徑和控制路徑通?；煊茫?dāng)追求重構(gòu)速度時(shí)，節(jié)點(diǎn)間的數(shù)據(jù)交互壓力較大，會(huì)使控制信息擁塞，而控制信息對(duì)響應(yīng)延遲要求較高，一旦有任何一條控制信息延遲，就會(huì)拖慢整個(gè)系統(tǒng)。若不得已采用單獨(dú)的控制鏈路， 則需在每臺(tái)設(shè)備上都單獨(dú)增加硬件，從而加大了成本。

非對(duì)稱式架構(gòu)采用數(shù)據(jù)路徑與控制路徑分離的方式，任何數(shù)據(jù)節(jié)點(diǎn)滿負(fù)載運(yùn)行或數(shù)據(jù)節(jié)點(diǎn)間的網(wǎng)絡(luò)擁塞均不會(huì)影響到整個(gè)系統(tǒng)的性能波動(dòng)（性能波動(dòng)僅限于故障節(jié)點(diǎn)）。

5 分布式存儲(chǔ)的數(shù)據(jù)保護(hù)模式

存儲(chǔ)領(lǐng)域的數(shù)據(jù)冗余機(jī)制長期以來發(fā)生了革命性的進(jìn)展， RAID、副本一直是當(dāng)仁不讓的最終選擇。近幾年，尤其是在規(guī)模較大的應(yīng)用場景下，糾刪碼越來越多地出現(xiàn)在大眾視野中， 成為RAID、副本之外的第三種選擇，因此也獲得了越來越多的關(guān)注。

糾刪碼（Erasure Code）是一種編碼容錯(cuò)技術(shù)，最早用以解決通信行業(yè)中部分?jǐn)?shù)據(jù)在傳輸中的損耗問題。其基本原理是把傳輸?shù)男盘?hào)分段，加入一定的校驗(yàn)后再讓各段間發(fā)生一定的聯(lián)系，即使在傳輸過程中丟失部分信號(hào)，接收端仍能通過算法把完整的信息計(jì)算出來。如果嚴(yán)格區(qū)分，按照誤碼控制的不同功能，還可以分為檢錯(cuò)、糾錯(cuò)和糾刪類型。

糾錯(cuò)碼不僅具備識(shí)別錯(cuò)碼功能， 還具備糾正錯(cuò)碼功能，其適用場景通常采用大規(guī)模部署方式。從傳統(tǒng)情況來看， RAID通常在企業(yè)級(jí)環(huán)境中應(yīng)用較多。在幾臺(tái)或十幾臺(tái)存儲(chǔ)設(shè)備規(guī)模的IT系統(tǒng)中，較常使用穩(wěn)定可靠、歷經(jīng)數(shù)十年磨礪的RAID技術(shù)。而在數(shù)據(jù)中心級(jí)的大規(guī)模部署中，RAID不再受歡迎，大部分分布式系統(tǒng)都偏好副本模式，均看重其高可靠 性和讀性能優(yōu)化的特點(diǎn)。然而副本帶來的成本壓力也讓眾多 企業(yè)叫苦不迭，因此，糾錯(cuò)碼技術(shù)的適時(shí)出現(xiàn)，以其更低成本 和更高技術(shù)含量及提供近似可靠性的特點(diǎn)，吸引了眾多分布式 存儲(chǔ)和云存儲(chǔ)的廠商和用戶。

 6 結(jié) 語

文章從技術(shù)特點(diǎn)以及實(shí)際應(yīng)用效果，分析了數(shù)據(jù)存儲(chǔ)的 不同技術(shù)，并將傳統(tǒng)技術(shù)和糾錯(cuò)碼技術(shù)進(jìn)行對(duì)比，論證了分 布式存儲(chǔ)是物聯(lián)網(wǎng)業(yè)務(wù)的最佳選擇。