浪潮存儲(chǔ)：影像大數(shù)據(jù)處理，如何搭上存儲(chǔ)這輛“超跑”

（全球TMT2021年8月6日訊）經(jīng)歷近兩個(gè)世紀(jì)蝶變，影像技術(shù)與數(shù)字技術(shù)不斷融合，數(shù)字影像占據(jù)了行業(yè)主導(dǎo)。特別是隨著大數(shù)據(jù)和深度學(xué)習(xí)等新技術(shù)加持，影像大數(shù)據(jù)產(chǎn)業(yè)發(fā)展不斷提速，IDC研究表明，未來(lái)行業(yè)80%的行業(yè)數(shù)據(jù)將以照片、音頻、視頻等非結(jié)構(gòu)化影像數(shù)據(jù)方式呈現(xiàn)。海量影像數(shù)據(jù)的“存”和“用”就像賽車兩個(gè)驅(qū)動(dòng)輪，影響著各個(gè)行業(yè)在數(shù)字賽道上飛馳的速度。作為新存儲(chǔ)首倡者和引領(lǐng)者，浪潮存儲(chǔ)憑借五年五次霸榜的極致“造車”技術(shù)，持續(xù)為行業(yè)影像大數(shù)據(jù)處理提速。

行業(yè)影像數(shù)據(jù)大爆發(fā)  如何才能“接得住、存得快”

隨著行業(yè)數(shù)字化轉(zhuǎn)型不斷深入，企業(yè)數(shù)據(jù)資產(chǎn)從關(guān)鍵業(yè)務(wù)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)為主逐漸演變?yōu)榉墙Y(jié)構(gòu)化影像數(shù)據(jù)為主，同時(shí)企業(yè)IT業(yè)務(wù)重心從數(shù)據(jù)管理變?yōu)閿?shù)據(jù)運(yùn)營(yíng)。如何提升數(shù)據(jù)存儲(chǔ)性能，快速?gòu)木蘖坑跋駭?shù)據(jù)中獲取數(shù)據(jù)價(jià)值，成為企業(yè)提升競(jìng)爭(zhēng)力的關(guān)鍵。

以金融行業(yè)為例，在Bank4.0趨勢(shì)下隨著銀行網(wǎng)點(diǎn)向營(yíng)銷型、體驗(yàn)型智慧網(wǎng)點(diǎn)轉(zhuǎn)變，各大銀行正全面推進(jìn)無(wú)紙化辦公，票據(jù)、單證、電子驗(yàn)印、影像審批等業(yè)務(wù)處理過(guò)程漸趨電子化，帶來(lái)了影像數(shù)據(jù)實(shí)時(shí)存儲(chǔ)和處理的需求井噴式增長(zhǎng)。

浪潮存儲(chǔ)方案架構(gòu)師Howar表示，“金融影像大數(shù)據(jù)就像螞蟻軍團(tuán)，特點(diǎn)是‘個(gè)頭小’、‘?dāng)?shù)量多’，海量金融影像并發(fā)處理是典型的性能密集型場(chǎng)景”。Howar給算了筆賬，票據(jù)影像經(jīng)過(guò)壓縮后，每個(gè)影像大小約在在幾十K至幾百K之間，多見(jiàn)的是100K左右的影像，但影像規(guī)模極為龐大，依據(jù)銀行規(guī)模與業(yè)務(wù)上線時(shí)間不同，單套存儲(chǔ)系統(tǒng)需要處理的影像規(guī)模達(dá)到數(shù)千萬(wàn)至數(shù)億份。同時(shí)隨著金融監(jiān)管要求日趨嚴(yán)格，大量錄音、錄像、圖片也需要實(shí)時(shí)保存并高效訪問(wèn)。

不僅金融如此，在通信、能源、交通、媒資、科研、醫(yī)療等諸多行業(yè)，也同樣面臨影像大數(shù)據(jù)處理的挑戰(zhàn)，這個(gè)行業(yè)用戶的共性需求可以稱之為“性能現(xiàn)象級(jí)”。其中在通信行業(yè)，隨著14億人將衣食住行搬上網(wǎng)絡(luò)，移動(dòng)互聯(lián)網(wǎng)2020年數(shù)據(jù)流量高達(dá)1656億GB；在互聯(lián)網(wǎng)行業(yè)，快手每天產(chǎn)生1.2億個(gè)內(nèi)容標(biāo)簽與用戶畫(huà)像實(shí)時(shí)匹配，內(nèi)容精準(zhǔn)推送背后是海量數(shù)據(jù)關(guān)聯(lián)碰撞的結(jié)果；在交通領(lǐng)域，網(wǎng)紅城市成都有超6000路交通視頻流實(shí)時(shí)匯入，每天需要處理1億張圖片、10次搜索。這些實(shí)時(shí)數(shù)據(jù)如同長(zhǎng)江大河源源不斷、晝夜不息地注入后端數(shù)據(jù)基礎(chǔ)設(shè)施，如何“接得住、存得快、用得快”成為數(shù)據(jù)存儲(chǔ)面對(duì)的挑戰(zhàn)。

一道“性能”考題  引出三種范式

雖然大部分行業(yè)都面臨大數(shù)據(jù)處理挑戰(zhàn)，但不同行業(yè)、不同業(yè)務(wù)、不同數(shù)據(jù)生命周期的性能需求存在三種范式：以媒資4K/8K、腦成像研究等應(yīng)用場(chǎng)景為代表，數(shù)據(jù)處理屬于“帶寬密集型”范式；以金融影像應(yīng)用場(chǎng)景為代表，影像數(shù)據(jù)以海量小數(shù)據(jù)為主，屬于“IO密集型”范式。最后是混合型，在智慧交通、能源勘探等場(chǎng)景，在前期數(shù)據(jù)采集階段，海量數(shù)據(jù)流實(shí)時(shí)匯入給存儲(chǔ)帶寬提出了挑戰(zhàn)，到了后期人工智能分析階段，企業(yè)需要處理十億級(jí)乃至百億級(jí)小文件，需要極致IO能力來(lái)支撐。                       

Howar告訴我們，浪潮分布式存儲(chǔ)能夠以一套存儲(chǔ)滿足上述三種性能范式需求。浪潮存儲(chǔ)開(kāi)發(fā)了業(yè)界首個(gè)“塊、文件、對(duì)象、大數(shù)據(jù)多合一”極簡(jiǎn)架構(gòu)和iTurbo智能加速引擎，此存儲(chǔ)系統(tǒng)能夠統(tǒng)籌管理數(shù)千個(gè)節(jié)點(diǎn)，實(shí)現(xiàn)性能線性擴(kuò)展。

在帶寬密集型應(yīng)用中，浪潮存儲(chǔ)通過(guò)聚合帶寬技術(shù)，能夠支撐數(shù)據(jù)流高速吞吐，確保海量影像洪流“接得住、存得快”。同時(shí)，浪潮存儲(chǔ)還能進(jìn)行場(chǎng)景化定制，比如在石油勘探場(chǎng)景，浪潮存儲(chǔ)通過(guò)對(duì)去躁、振幅補(bǔ)償?shù)榷囗?xiàng)作業(yè)的優(yōu)化配置，提升了石油勘探批量作業(yè)的處理能力，增強(qiáng)了易用性，確保系統(tǒng)高速穩(wěn)定運(yùn)行。

在IO密集型場(chǎng)景，面對(duì)億級(jí)影像小文件并發(fā)處理的挑戰(zhàn)，傳統(tǒng)集中式NAS存儲(chǔ)有些力不從心。NAS文件系統(tǒng)架構(gòu)采用樹(shù)形目錄結(jié)構(gòu)，遍歷影像文件需要極大的資源消耗，當(dāng)影像文件達(dá)到上億級(jí)別時(shí)，就會(huì)出現(xiàn)性能嚴(yán)重下降的問(wèn)題。對(duì)此，浪潮分布式存儲(chǔ)一套存儲(chǔ)支持文件、對(duì)象等多種數(shù)據(jù)類型的優(yōu)勢(shì)就顯示出來(lái)了：當(dāng)用戶影像業(yè)務(wù)規(guī)模較小時(shí)，可以采用文件存儲(chǔ)方式，這種方式比較常見(jiàn)，占到中國(guó)分布式存儲(chǔ)約50%的市場(chǎng)份額，企業(yè)大部分運(yùn)維人員都能輕松上手；隨著業(yè)務(wù)成長(zhǎng)，一旦影像規(guī)模達(dá)到億級(jí)，可以采用對(duì)象方式進(jìn)行扁平化管理。在對(duì)象存儲(chǔ)模式下，每個(gè)桶和對(duì)象都有一個(gè)全局唯一的ID，根據(jù)ID可快速實(shí)現(xiàn)對(duì)象的查找和數(shù)據(jù)的訪問(wèn)，性能大幅提升。

浪潮存儲(chǔ)的極簡(jiǎn)架構(gòu)做得比較人性化，用戶可以根據(jù)業(yè)務(wù)需求，在多種數(shù)據(jù)服務(wù)之間進(jìn)行資源切換，Howar表示。這項(xiàng)功能就好比浪潮存儲(chǔ)是一個(gè)工廠，用戶今天想開(kāi)轎車就按轎車尺寸裝，過(guò)段時(shí)間想開(kāi)SUV就把轎車拆了進(jìn)行改裝，雖然在物理世界這個(gè)實(shí)現(xiàn)起來(lái)很有挑戰(zhàn)，但在數(shù)字世界還是被浪潮存儲(chǔ)實(shí)現(xiàn)了。

不僅如此，浪潮存儲(chǔ)還針對(duì)性能開(kāi)發(fā)了iTurbo智能加速引擎，通過(guò)智能IO均衡、智能資源調(diào)度、智能元數(shù)據(jù)管理等創(chuàng)新技術(shù)，與自研NVMe SSD閃存盤(pán)進(jìn)行系統(tǒng)級(jí)別聯(lián)調(diào)優(yōu)化，讓百萬(wàn)級(jí)IO均衡落盤(pán)且路徑更短，將存儲(chǔ)系統(tǒng)性能發(fā)揮到極致，有效地提升了從海量影像中“大海撈針”的效率。

五年五次飆榜  浪潮存儲(chǔ)將性能優(yōu)勢(shì)轉(zhuǎn)化為市場(chǎng)競(jìng)爭(zhēng)力

基于對(duì)行業(yè)“性能現(xiàn)象級(jí)”的洞察和存儲(chǔ)技術(shù)持續(xù)打磨，浪潮存儲(chǔ)實(shí)現(xiàn)五年五次性能飆榜。早在2017年浪潮存儲(chǔ)以超150萬(wàn)IOPS創(chuàng)下了8控存儲(chǔ)的業(yè)界最高成績(jī)，時(shí)隔3年浪潮存儲(chǔ)以5倍的性能再獲16控、8控、單位成本性能三項(xiàng)冠軍。今年浪潮存儲(chǔ)在分布式存儲(chǔ)領(lǐng)域再次突破，實(shí)現(xiàn)五年五次霸榜，成為全球唯一一家在分布式存儲(chǔ)和集中式全閃存儲(chǔ)兩大賽道領(lǐng)跑的存儲(chǔ)廠商。

當(dāng)前浪潮存儲(chǔ)已經(jīng)進(jìn)階全球前五，成為全球增長(zhǎng)最為強(qiáng)勁的存儲(chǔ)廠商。在影像大數(shù)據(jù)處理領(lǐng)域，浪潮存儲(chǔ)已經(jīng)在中國(guó)天眼天文大數(shù)據(jù)、清華大學(xué)頂級(jí)腦成像研究、中石油三維勘探、中國(guó)人壽內(nèi)容管理等數(shù)百個(gè)行業(yè)新應(yīng)用中規(guī)?；渴稹?/p>