物聯(lián)網(wǎng)IPFS和EdgeFS之間有什么差異
數(shù)據(jù)安全性是Edge / Fog計算增長的主要挑戰(zhàn)。了解如何通過引入現(xiàn)代分布式數(shù)據(jù)層EdgeFS來克服問題。
由于減少了帶寬消耗,提高了分析效率,改善了物理世界中事件的必要響應(yīng)時間,不依賴于WAN(廣域網(wǎng)),最大限度地延長了正常運行時間,因此我們一直在明確表示Edge / Fog計算轉(zhuǎn)型。像有線電視那樣可靠性較差的蜂窩電話,以及更高的安全性。
在安全性方面,好處來自于保護靠近數(shù)據(jù)源的資產(chǎn),這些資產(chǎn)從未打算連接到更廣泛的網(wǎng)絡(luò),更不用說互聯(lián)網(wǎng)了。
然而,隨著應(yīng)用程序、數(shù)據(jù)、計算服務(wù)被推離中心位置,數(shù)據(jù)片段必須在越來越多的分布式網(wǎng)絡(luò)中復制。考慮到這一點,數(shù)據(jù)安全性仍然是Edge / Fog計算增長的主要挑戰(zhàn)。
為了應(yīng)對這些挑戰(zhàn),我們需要概念上新的分布式數(shù)據(jù)分發(fā)和訪問設(shè)計時考慮到Edge / Fog安全性的層。
讓我們來比較兩個可能適合從數(shù)據(jù)安全需求的開源分布式存儲層設(shè)計:EdgeFS(http://edgefs.io,Apache許可證)和IPFS(星際文件系統(tǒng) https://ipfs.io,MIT許可)。
當我們設(shè)計EdgeFS時,數(shù)據(jù)安全性是我們的首要任務(wù)。在EdgeFS中,一旦記錄,任何給定塊中的數(shù)據(jù)都不能追溯地改變,因為這會使類似區(qū)塊鏈的n-ary樹中先前塊中的所有SHA-3哈希失效,并打破分散位置之間達成的共識。關(guān)于IPFS也是如此。
EdgeFS建立在體系結(jié)構(gòu)之上,具有不可變的自我驗證位置無關(guān)元數(shù)據(jù),引用自我驗證的與位置無關(guān)的有效負載。
雖然兩個存儲解決方案對有效負載塊的處理非常相似,但是對象的命名和發(fā)現(xiàn)方式的差異幾乎不同。IPFS主要用于對等分類賬加密交易,而EdgeFS沒有做出這樣的設(shè)定,而是專注于許多本地或遠程內(nèi)容可尋址網(wǎng)絡(luò)操作的extream高性能。
不可變的有效負載塊
將數(shù)據(jù)塊放置到IPFS的最終結(jié)果是使用強加密哈希來識別和驗證它,并且可以使用加密哈希來查找要檢索的塊。這與EdgeFS非常相似,但存在一些差異:
IPFS接受塊,然后生成其加密哈希。一個EdgeFS客戶端(通過CCOW“cloud copy》
EdgeFS FlexHash表是本地站點構(gòu)造。它會自動發(fā)現(xiàn)并駐留在本地站點的服務(wù)器內(nèi)存中。FlexHash負責I / O路徑,并在動態(tài)負載平衡邏輯中發(fā)揮重要作用。基于發(fā)現(xiàn)的站點拓撲,它定義了所謂的協(xié)商目標組,這些目標組通常在8-24個分區(qū)存儲設(shè)備之間形成,以確保正確的故障域分布。
元數(shù)據(jù)原理的差異
IPFS命名系統(tǒng)仍在開發(fā)中,示例表明IPFS使用了一種非常不同的方法來發(fā)布按名稱訪問的內(nèi)容。
IPFS接受原子對象的加密哈希,并將這些引用嵌入到其他命名對象中,這些對象的基本功能是作為目錄。
這些目錄對象中的每一個也是不可變的,引用特定的凍結(jié)時內(nèi)容。目錄對象本身具有加密哈希,可以在更高層目錄中引用。最后,發(fā)布一個“根”目錄,然后通過一個可變名稱指向目錄對象映射。我懷疑這種設(shè)計受到為加密貨幣分類賬算法提供高度安全的持久層的必要性的影響,其代價是通用存儲靈活性和性能。
EdgeFS采用不同的方法,其目標是為版本化內(nèi)容啟用共享數(shù)據(jù)存儲庫,這些內(nèi)容可由數(shù)千個租戶批準的用戶同時訪問和更新,并支持跨站點一致性組。
在EdgeFS中,支持按名稱或其他搜索條件查找存儲對象的信息,總是作為獨立于有效負載的元數(shù)據(jù)記錄。它將存儲的有效負載視為不透明的塊,磁盤上的組織不需要在塊本身內(nèi)查找引用,從而允許客戶端驅(qū)動的端對端加密。也就是說,它假定所有的有效負載都是加密的,并且從不嘗試分析它。可變元數(shù)據(jù)信息始終存儲在本地(本地站點群集),從而在不犧牲靈活性或性能的情況下啟用始終本地、立即一致的I/O策略。
不可變版本元數(shù)據(jù)
根據(jù)定義,關(guān)于特定版本對象的大多數(shù)元數(shù)據(jù)必須是不可變的。某些元數(shù)據(jù)可以獨立于版本內(nèi)容,例如控制對象版本保留的元數(shù)據(jù),本地站點復制覆蓋,ACL等。
IPFS的優(yōu)點之一是,當可變命名引用更改為指向新版本時,它不會更改目錄對象的存儲。這與EdgeFS處理可變命名引用的方式非常相似,在我看來,這遠比創(chuàng)建顯式版本化名稱要好。在EdgeFS中,可變命名總是假定為本地的,并在遠程站點到站點傳輸時“re-hydrated”。這使得跨地域的傳輸始終是保持不變的,因此可以實現(xiàn)全局復制,從而非常有效地避免不必要的網(wǎng)絡(luò)傳輸,即通過WAN進行內(nèi)聯(lián)重復數(shù)據(jù)刪除。
小結(jié)
現(xiàn)代元數(shù)據(jù)存儲子系統(tǒng)還有許多其他功能,這些功能是IPFS似乎尚未解決的版本化內(nèi)容存儲所必需的:
快速查找屬于任何給定文件夾/ directoryPredictable目錄或bucket search timesTenant控件中的名稱,該控件控制租戶元數(shù)據(jù)驅(qū)動的對引用負載的保留的訪問和修改。
雖然我承認IPFS的主要和最初目標不是為Edge / Fog計算用例提供服務(wù),但其安全性和全局可擴展性優(yōu)勢確實符合要求。也許有一天它會滿足其他需求。但為什么要等?EdgeFS現(xiàn)在已經(jīng)可用,它滿足Edge/Fog計算的最重要需求——數(shù)據(jù)安全性、成本降低和性能。
EdgeFS利用本地站點資源,并將它們呈現(xiàn)為高度可用的群集段,該群集段是地理位置分散的數(shù)據(jù)層的一部分。由于其不可變的數(shù)據(jù)結(jié)構(gòu)設(shè)計,通過基于UDP的低延遲協(xié)議進行動態(tài)數(shù)據(jù)放置,內(nèi)置多協(xié)議存儲網(wǎng)關(guān)(S3,NoSQL DB,NFS,iSCSI等)以及高度可擴展的無共享架構(gòu),使本地站點的性能具有卓越的特點。支持為Edge / Fog計算時代設(shè)計的應(yīng)用程序。
EdgeFS利用本地可用的站點資源,并將它們呈現(xiàn)為高度可用的群集段,該群集段是地理位置分散的數(shù)據(jù)層的一部分。由于其不可變的數(shù)據(jù)結(jié)構(gòu)設(shè)計,通過基于UDP的低延遲協(xié)議進行動態(tài)數(shù)據(jù)放置,內(nèi)置多協(xié)議存儲網(wǎng)關(guān)(S3,NoSQL DB,NFS,iSCSI等)以及高度可擴展性,因此實現(xiàn)了出色的本地站點性能特性無共享架構(gòu),可以成為專為Edge / Fog計算時代設(shè)計的應(yīng)用程序的真正推動者。
來源: 區(qū)塊鏈兄弟