當(dāng)前位置:首頁 > 技術(shù)學(xué)院 > 基礎(chǔ)知識(shí)科普站
[導(dǎo)讀]市場(chǎng)上并不缺少提高數(shù)據(jù)存儲(chǔ)效率的新技術(shù),然而這些新技術(shù)絕大多數(shù)都是關(guān)注備份和存檔的,而非主存儲(chǔ)。但是,當(dāng)企業(yè)開始進(jìn)行主存儲(chǔ)數(shù)據(jù)縮減時(shí),對(duì)他們來說,了解主存儲(chǔ)優(yōu)化所要求的必要條件十分重要。主存儲(chǔ),常常被稱為1級(jí)存儲(chǔ),其特征是存儲(chǔ)活躍數(shù)據(jù)――即經(jīng)常被存取并要求高性能、低時(shí)延和高可用性的數(shù)據(jù)。

市場(chǎng)上并不缺少提高數(shù)據(jù)存儲(chǔ)效率的新技術(shù),然而這些新技術(shù)絕大多數(shù)都是關(guān)注備份和存檔的,而非主存儲(chǔ)。但是,當(dāng)企業(yè)開始進(jìn)行主存儲(chǔ)數(shù)據(jù)縮減時(shí),對(duì)他們來說,了解主存儲(chǔ)優(yōu)化所要求的必要條件十分重要。主存儲(chǔ),常常被稱為1級(jí)存儲(chǔ),其特征是存儲(chǔ)活躍數(shù)據(jù)――即經(jīng)常被存取并要求高性能、低時(shí)延和高可用性的數(shù)據(jù)。

主存優(yōu)化及部署

主存儲(chǔ)一般用于支持關(guān)鍵任務(wù)應(yīng)用,如數(shù)據(jù)庫(kù)、電子郵件和交易處理。大多數(shù)關(guān)鍵應(yīng)用具有隨機(jī)的數(shù)據(jù)取存模式和不同的取存要求,但它們都生成機(jī)構(gòu)用來運(yùn)營(yíng)它們的業(yè)務(wù)的大量的數(shù)據(jù)。因此,機(jī)構(gòu)制作數(shù)據(jù)的許多份拷貝,復(fù)制數(shù)據(jù)供分布使用,庫(kù)存數(shù)據(jù),然后為安全保存?zhèn)浞莺痛鏅n數(shù)據(jù)。絕大多數(shù)數(shù)據(jù)是起源于主數(shù)據(jù)。隨著數(shù)據(jù)存在的時(shí)間增加,它們通常被遷移到二級(jí)和三級(jí)存儲(chǔ)保存。因此,如果機(jī)構(gòu)可以減少主數(shù)據(jù)存儲(chǔ)占用空間,將能夠在數(shù)據(jù)生命期中利用這些節(jié)省下來的容量和費(fèi)用。換句話說,更少的主存儲(chǔ)占用空間意味著更少的數(shù)據(jù)復(fù)制、庫(kù)存、存檔和備份。試圖減少主存儲(chǔ)占用空間存儲(chǔ)管理人員可以考慮兩種減少數(shù)據(jù)的方法:實(shí)時(shí)壓縮和數(shù)據(jù)去重。直到不久前,由于性能問題,數(shù)據(jù)壓縮一直沒有在主存儲(chǔ)應(yīng)用中得到廣泛應(yīng)用。然而,Storwize等廠商提供利用實(shí)時(shí)、隨機(jī)存取壓縮/解壓技術(shù)將數(shù)據(jù)占用空間壓縮15:1的解決方案。更高的壓縮率和實(shí)時(shí)性能使壓縮解決方案成為主存儲(chǔ)數(shù)據(jù)縮減的可行的選擇。在備份應(yīng)用中廣泛采用的數(shù)據(jù)去重技術(shù)也在被應(yīng)用到主存儲(chǔ)。目前為止,數(shù)據(jù)去重面臨著一大挑戰(zhàn),即數(shù)據(jù)去重處理是離線處理。這是因?yàn)榇_定數(shù)量可能多達(dá)數(shù)百萬的文件中的多余的數(shù)據(jù)塊需要大量的時(shí)間和存儲(chǔ)處理器做大量的工作,因此非?;钴S的數(shù)據(jù)可能受到影響。當(dāng)前,推出數(shù)據(jù)去重技術(shù)的主要廠商包括NetApp、Data Domain和OcarinaNetworks。

零性能影響與備份或存檔存儲(chǔ)不同,活躍數(shù)據(jù)集的性能比能夠用某種形式的數(shù)據(jù)縮減技術(shù)節(jié)省的存儲(chǔ)容量更為關(guān)鍵。因此,選擇的數(shù)據(jù)縮減技術(shù)必須不影響到性能。它必須有效和簡(jiǎn)單;它必須等價(jià)于“撥動(dòng)一個(gè)開關(guān),就消耗更少的存儲(chǔ)”?;钴S存儲(chǔ)縮減解決方案只在需要去重的數(shù)據(jù)達(dá)到非活躍狀態(tài)時(shí)才為活躍存儲(chǔ)去重。換句話說,這意味著實(shí)際上只對(duì)不再被存取但仍保存在活躍存儲(chǔ)池中的文件――近活躍存儲(chǔ)級(jí)――進(jìn)行去重。去重技術(shù)通過建議只對(duì)輕I/O工作負(fù)載去重來避免性能瓶頸。因此,IT基礎(chǔ)設(shè)施的關(guān)鍵組件的存儲(chǔ)沒有得到優(yōu)化。數(shù)據(jù)庫(kù)排在關(guān)鍵組件清單之首。由于它們是1級(jí)存儲(chǔ)和極其活躍的組件并且?guī)缀跏冀K被排除在輕工作負(fù)載之外,去重處理從來不分析它們。因此,它們?cè)谥鞔鎯?chǔ)中占據(jù)的空間沒有得到優(yōu)化。另一方面,實(shí)時(shí)壓縮系統(tǒng)實(shí)時(shí)壓縮所有流經(jīng)壓縮系統(tǒng)的數(shù)據(jù)。這導(dǎo)致節(jié)省存儲(chǔ)容量之外的意外好處:存儲(chǔ)性能的提高。當(dāng)所有數(shù)據(jù)都被壓縮時(shí),每個(gè)I/O請(qǐng)求提交的數(shù)據(jù)量都有效地增加,硬盤空間增加了,每次寫和讀操作都變得效率更高。實(shí)際結(jié)果是占用的硬盤容量減少,總體存儲(chǔ)性能顯著提高。主存儲(chǔ)去重的第二個(gè)好處是所有數(shù)據(jù)都被減少,這實(shí)現(xiàn)了包括數(shù)據(jù)庫(kù)在內(nèi)的所有數(shù)據(jù)的容量節(jié)省。盡管Oracle環(huán)境的實(shí)時(shí)數(shù)據(jù)壓縮可能造成一些性能問題,但迄今為止的測(cè)試表明性能提高了。另一個(gè)問題是對(duì)存儲(chǔ)控制器本身的性能影響。人們要求今天的存儲(chǔ)控制器除了做伺服硬盤外,還要做很多事情,包括管理不同的協(xié)議,執(zhí)行復(fù)制和管理快照。再向這些功能增加另一個(gè)功能可能會(huì)超出控制器的承受能力――即使它能夠處理額外的工作負(fù)載,它仍增加了一個(gè)存儲(chǔ)管理人員必須意識(shí)到可能成為潛在I/O瓶頸的過程。將壓縮工作交給外部專用設(shè)備去做,從性能問題中消除了一個(gè)變數(shù),而且不會(huì)給存儲(chǔ)控制器造成一點(diǎn)影響。

高可用性許多關(guān)注二級(jí)存儲(chǔ)的數(shù)據(jù)縮減解決方案不是高可用的。這是由于它們必須立即恢復(fù)的備份或存檔數(shù)據(jù)不像一級(jí)存儲(chǔ)中那樣關(guān)鍵。但是,甚至在二級(jí)存儲(chǔ)中,這種概念也逐漸不再時(shí)興,高可用性被作為一種選擇添加到許多二級(jí)存儲(chǔ)系統(tǒng)中??墒?,高可用性在主存儲(chǔ)中并不是可選的選項(xiàng)。從數(shù)據(jù)縮減格式(被去重或被壓縮)中讀取數(shù)據(jù)的能力必須存在。在數(shù)據(jù)縮減解決方案中(其中去重被集成到存儲(chǔ)陣列中),冗余性是幾乎總是高可用的存儲(chǔ)陣列的必然結(jié)果。在配件市場(chǎng)去重系統(tǒng)中,解決方案的一個(gè)組件以數(shù)據(jù)的原始格式向客戶機(jī)提供去重的數(shù)據(jù)。這個(gè)組件就叫做讀出器(reader)。讀出器也必須是高可用的,并且是無縫地高可用的。一些解決方案具有在發(fā)生故障時(shí)在標(biāo)準(zhǔn)服務(wù)器上加載讀出器的能力。這類解決方案經(jīng)常被用在近活躍的或更合適的存檔數(shù)據(jù)上;它們不太適合非常活躍的數(shù)據(jù)集。多數(shù)聯(lián)機(jī)壓縮系統(tǒng)被插入系統(tǒng)中和網(wǎng)絡(luò)上,放置(邏輯上)在交換機(jī)與存儲(chǔ)之間。因此,它們由于網(wǎng)絡(luò)基礎(chǔ)設(shè)施級(jí)上幾乎總是設(shè)計(jì)具有的高可用性而取得冗余性。沿著這些路徑插入聯(lián)機(jī)專用設(shè)備實(shí)現(xiàn)了不需要IT管理人員付出額外努力的無縫的故障切換;它利用了已經(jīng)在網(wǎng)絡(luò)上所做的工作。

節(jié)省空間部署這些解決方案之一必須帶來顯著的容量節(jié)省。如果減少占用容量的主存儲(chǔ)導(dǎo)致低于標(biāo)準(zhǔn)的用戶性能,它沒有價(jià)值。主數(shù)據(jù)不具有備份數(shù)據(jù)通常具有的高冗余存儲(chǔ)模式。這直接影響到總體容量節(jié)省。這里也有兩種實(shí)現(xiàn)主數(shù)據(jù)縮減的方法:數(shù)據(jù)去重和壓縮。數(shù)據(jù)去重技術(shù)尋找近活躍文件中的冗余數(shù)據(jù),而能取得什么水平的數(shù)據(jù)縮減將取決于環(huán)境。在具有高冗余水平的環(huán)境中,數(shù)據(jù)去重可以帶來顯著的ROI(投資回報(bào)),而另一些環(huán)境只能取得10%到20%的縮減。壓縮對(duì)所有可用數(shù)據(jù)都有效,并且它在可以為高冗余數(shù)據(jù)節(jié)省更多的存儲(chǔ)容量的同時(shí),還為主存儲(chǔ)應(yīng)用常見的更隨機(jī)的數(shù)據(jù)模式始終帶來更高的節(jié)省。實(shí)際上,數(shù)據(jù)模式冗余度越高,去重帶來的空間節(jié)省就越大。數(shù)據(jù)模式越隨機(jī),壓縮帶來的空間節(jié)省就越高。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉