存放溫冷數(shù)據(jù)最合適的技術(shù)手段——光存儲
我們身處一個大數(shù)據(jù)的時代,對大數(shù)據(jù)應該各有各的感悟,以新聞客戶端為例,在首屏看到的都是各自感興趣的新聞類型和新聞內(nèi)容;電商網(wǎng)站首頁,焦點位置也是個性化推薦。兩個星期前,我參加一個朋友給孩子辦的滿月酒,當我回到家,打開我小米電視機的時候,首屏投出來的是一個嬰兒奶粉的廣告,當然有些可笑,但的的確確發(fā)生了。這都是大數(shù)據(jù)系統(tǒng)根據(jù)我們以往的使用習慣,上網(wǎng)痕跡,借助大數(shù)據(jù)引擎挖掘、分析的結(jié)果,從某種意義上來說,大數(shù)據(jù)可能比你更懂你自己。各行各業(yè)都在收集并利用大量的數(shù)據(jù)分析結(jié)果,降本增效提高產(chǎn)品質(zhì)量以及不斷創(chuàng)新。數(shù)據(jù)爆炸式增長及價值擴大化,將對企業(yè)未來發(fā)展產(chǎn)生深遠的影響,數(shù)據(jù)的收集挖掘和應用成為企業(yè)生存發(fā)展的核心推動力。世界經(jīng)濟格局也將因為大數(shù)據(jù)時代而產(chǎn)生巨大的變革。
光存儲是大數(shù)據(jù)時代存放溫冷數(shù)據(jù)最合適的技術(shù)手段。原因在于藍光光盤具有50年存儲壽命;其原始數(shù)據(jù)在物理上不可刪改;使用成本是傳統(tǒng)存儲介質(zhì)的1/10,此外它可以應付惡劣環(huán)境影響,具有非常強的容災抗災的能力。光存儲是現(xiàn)有存儲模式最好的補充。全息光盤的研發(fā),單張光盤獲得了1.5TB的容量。如果采用更高性能的傳感器,更高性能的感光材料,在2020年將單張光盤容量有望提升到40TB,這將使得我們在第四代光盤技術(shù)規(guī)格競爭中獲勝,那會是中國第一次參與主導光盤技術(shù)的規(guī)格和標準的制定。
當今世界我們個人和家庭大概擁有并長期保存接近1TB數(shù)據(jù),企業(yè)長期擁有PB級規(guī)模數(shù)據(jù);城市擁有EB級規(guī)模數(shù)據(jù),而國家早就超過了EB級規(guī)模。這些,大數(shù)據(jù)呈現(xiàn)這四個特點:
第一個特點是IDC在2017年預計2020年全球數(shù)據(jù)規(guī)模將達到44個EB,而中國將達到8個EB,這里我發(fā)現(xiàn)了一個很有趣比例關(guān)系,這個比例非常接近于中國人口和全球人口規(guī)模的比例,由此得出兩個猜測,一個猜測是說數(shù)據(jù)規(guī)模和人口規(guī)模密切相關(guān)。第二個猜測也許和大家有點不一致,是說中國在大數(shù)據(jù)應用EB領(lǐng)域,我們只是平均水平。
第二個特點就是我們數(shù)據(jù)產(chǎn)生越來越快,流轉(zhuǎn)越來越快,數(shù)據(jù)產(chǎn)生加速增長。如今,我們使用更多攝像頭,使用更高像素的攝像頭,因此每天產(chǎn)生更多的數(shù)據(jù),這些數(shù)據(jù)需要更強大計算能力處理。這里不僅有結(jié)構(gòu)化數(shù)據(jù),也有一些以網(wǎng)頁數(shù)據(jù)為代表的非結(jié)構(gòu)化數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù)規(guī)模巨大,以音視頻、空間物理信息為代表。海量數(shù)據(jù)如何通過挖掘算法更迅速有效完成價值提存,成為大數(shù)據(jù)背景下需要解決的難題。
迅速增長的數(shù)據(jù)是人類社會寶貴財富,但是與此同時也對我們的社會提出了嚴峻的挑戰(zhàn),在這里我們看到,2017年三峽大壩全年的發(fā)電總量大致在1000億度,與此同時,2017年全國數(shù)據(jù)中心耗電量已超過了這一數(shù)字,達到了1200億~1300億度。2020年數(shù)據(jù)中心耗電量相當于3個三峽大壩,2025年接近于4個,換句話說,呈指數(shù)級增長的數(shù)據(jù)和帶來了線性增長的耗電量。在數(shù)據(jù)中心的成本構(gòu)成上,不僅有耗電量,還有地產(chǎn)空間的投入,安全方面的投入,涉及數(shù)據(jù)泄露和數(shù)據(jù)存儲傳輸過程中數(shù)據(jù)損失。
我們使用傳統(tǒng)的存儲介質(zhì)只有3~5年壽命,由此勢必需要面對數(shù)據(jù)遷移的損失風險,以及介質(zhì)更換的成本。大數(shù)據(jù)是財富,原始數(shù)據(jù)不可再生,大數(shù)據(jù)如何安全的長期保存,這是我們與大家面臨的問題。數(shù)據(jù)存儲不管是在云端還是在本地,存儲介質(zhì)都是數(shù)據(jù)最終的物理載體。就目前的技術(shù)發(fā)展而言,我們大致會分成三種技術(shù)存儲介質(zhì),機械硬盤、光盤和固態(tài)硬盤,他們有各自不同的特性。我們認為在大數(shù)據(jù)時代光存儲是存放溫冷數(shù)據(jù)最合適的技術(shù)手段。
第一個原因是藍光光盤具有50年存儲壽命。
第二點原因是原始數(shù)據(jù)在物理上不可刪改。
第三點是其使用成本是傳統(tǒng)存儲介質(zhì)的1/10
此外,它可以應付惡劣環(huán)境影響,具有非常強的容災抗災的能力。
我們今天進入了工業(yè)4.0時代,光存儲技術(shù)憑借綠色節(jié)能安全長效的優(yōu)勢,契合了當今信息時代長期安全存儲的需求。以此為契機,工信部科技部等部委相關(guān)政策的陸續(xù)出臺,中國光存儲技術(shù)進入了快速發(fā)展階段。光存儲技術(shù)首先能夠降低耗電成本,光盤介質(zhì)能夠在相對惡劣的環(huán)境下保存數(shù)據(jù),大大節(jié)約了為了維持恒溫和環(huán)境而消耗大量的能源成本,節(jié)約了大量物理空間建設(shè)成本,空調(diào)散熱方面的投入。長達50多年存儲壽命,節(jié)約了存儲介質(zhì)更換成本以及數(shù)據(jù)遷移的風險。
這里講的一個數(shù)據(jù)遷移方式簡單,我們假設(shè)一個場景,在北京有5PB數(shù)據(jù)遷移到上海,通過網(wǎng)絡傳輸,成本高、耗時長,光盤能夠應付惡劣的運輸環(huán)境條件,把我們的數(shù)據(jù)介質(zhì)從北京寄到上海,就很容易實現(xiàn)這個物理上的數(shù)據(jù)遷移。兼容性方面,數(shù)據(jù)存儲的本質(zhì)是為了使用數(shù)據(jù),紫晶存儲的光存儲系統(tǒng),從第一天開始,就是在一個光電磁混合下面發(fā)展,天然對我們各類文件、對象的使用有一個很好的兼容性。光盤在物理上不被篡改,天然對病毒木馬以及邏輯錯誤免疫。
光存儲是現(xiàn)有存儲模式最好的補充,Gartner把存儲系統(tǒng)進行了新的分類,以數(shù)據(jù)庫為主體的結(jié)構(gòu)化數(shù)據(jù)作為關(guān)鍵業(yè)務存儲,第二存儲針對一些長期保存的非結(jié)構(gòu)化數(shù)據(jù)。光存儲屬于第二存儲范疇,我相信它能夠成為我們的機械硬盤和固態(tài)硬盤之外的一個非常好的補充。我相信一個完整高效的針對多種應用的存儲框架里面,必然會是這三種技術(shù)混合的協(xié)同應用。紫晶存儲專注于光存儲技術(shù)的發(fā)展,在發(fā)展光存儲技術(shù)的時候,我們提出了一個光電磁融合存儲的系統(tǒng)架構(gòu),這個架構(gòu)左邊是硬件是遠景圖,右邊是軟件的遠景圖、。我們實現(xiàn)全集統(tǒng)一管理,統(tǒng)一接口擴展虛擬資源池,實現(xiàn)正確時間正確數(shù)據(jù)存放到正確介質(zhì)上面去。
接下來看一下光存儲技術(shù)展望,其中有一個全息技術(shù)的維度,就是說,從藍光到全息。第一代光盤介質(zhì)是CVD光盤,第二代DVD光盤,第三代藍光光盤,技術(shù)規(guī)格和技術(shù)標準都是日本歐洲企業(yè)主導的,一直紫晶存儲在國內(nèi)推動光存儲頂層技術(shù),參與了各項國家各項光盤的標準的制定。今年紫晶參與了另外一個存儲項目,就是全息光盤研發(fā),單張光盤獲得了1.5TB的容量。這個是我們目前同軸全息技術(shù)的原理圖。全息技術(shù)通常從三個維度增加我們記錄的容量,第一個就是位移復用,第二個交叉復用,第三個角度復用,前面所說的1.5TB單張光盤技術(shù)只使用位移復用取得的成果,這是全球最接近商業(yè)化的全息光盤技術(shù)。
如果明年我們能夠進一步結(jié)合交叉復用和角度復用迅速的把單張光盤容量從1TB提升5~10倍。預計在明年大概率能夠獲得5TB單張光盤容量。如果采用更高性能的傳感器,更高性能的感光材料,我們計劃在2020年將單張光盤的容量提升到40TB,我們相信這項技術(shù)將使我們在第四代光盤技術(shù)規(guī)格競爭中獲勝,最終獲得勝利的技術(shù),那會是中國第一次參與主導光盤技術(shù)的規(guī)格和標準的制定。未來我們期待能夠與更多的研究機構(gòu)院校以及客戶、合作伙伴深入溝通,探索不斷完善我們的產(chǎn)品和解決方案,以創(chuàng)新賦能中國存儲,做大數(shù)據(jù)時代的“追光者”。