當前位置:首頁 > 廠商動態(tài) > 亞馬遜云科技
[導讀]只要計算機依然遵循馮·諾依曼體系結構所定義的形態(tài),那么關于計算的發(fā)展創(chuàng)新,大多都將圍繞著“存”與“算”的協作。不過有趣的是,從古文明到計算機時代,千年以來人類對“存”的需求似乎總是優(yōu)先于“算”——只要條件允許,人們就傾向于災備性地保留盡可能多的數據,即便它們可能再也不會被用于計算;現在的電子產品也喜歡讓用戶在計算硬件相同但存儲空間不同的產品中進行選擇。

只要計算機依然遵循馮·諾依曼體系結構所定義的形態(tài),那么關于計算的發(fā)展創(chuàng)新,大多都將圍繞著“存”與“算”的協作。不過有趣的是,從古文明到計算機時代,千年以來人類對“存”的需求似乎總是優(yōu)先于“算”——只要條件允許,人們就傾向于災備性地保留盡可能多的數據,即便它們可能再也不會被用于計算;現在的電子產品也喜歡讓用戶在計算硬件相同但存儲空間不同的產品中進行選擇。

當然,在計算的世界中“存”和“算”只是在不同場景中有所側重,缺一不可。只不過由于技術、成本等限制,人們在購買算力時往往精心算計,但對存儲則傾向預留充足冗余。這也解釋了為何在計算機領域的一些重大發(fā)展中,存儲或是發(fā)揮重要作用,或是在第一時間享受到創(chuàng)新的增益。

如果將2006年亞馬遜云科技成立,看作是拉開了云計算時代的帷幕,那么Amazon Simple Storage Service(Amazon S3)對象存儲服務就是拉開帷幕的那只無形的手。作為亞馬遜云科技的推出的第一個云服務,Amazon S3的到來,與那些隱約感受到數據膨脹壓力的用戶形成了一場雙向奔赴。

現在,誕生已18年的Amazon S3已是最受歡迎的亞馬遜云科技服務之一。隨著云計算生態(tài)日益繁榮,計算場景來到機器推理、生成式人工智能等高階應用,Amazon S3也在一路發(fā)展成長,成為云計算中基礎但又從不缺席的環(huán)節(jié)。

首個云對象存儲,AmazonS3揭開云計算時代的大幕

作為亞馬遜云科技的“元老”級服務,Amazon S3目前為全球數百萬各行各業(yè)的客戶提供可靠、便捷的云存儲?,F在,Amazon S3 存儲了超過 350 萬億個對象,平均每秒處理超過1億次請求,能夠勝任幾乎所有工作負載。

Amazon S3能擁有持續(xù)18年的旺盛生命力,來自云計算所開創(chuàng)的顛覆性存儲范式。云計算通過功能和服務取代了本地存儲,上至無限的彈性容量、按用量付費……云計算使存儲擁有了與業(yè)務同步成長的可能。

而且Amazon S3還提供了遠超本地存儲的可靠性,具有的11個9(99.999999999%)的持久性,意味著一萬年時間跨度中1000萬個對象才可能會丟一個,用戶使用Amazon S3不需要在本地構建數據中心,無需操心數據存放位置,不用擔心擴容問題,也幾乎不用擔心數據丟失的風險。

豐富的存儲級別,AmazonS3以更經濟的方式承載更多數據與應用

隨著企業(yè)數字化轉型的逐步推進,以及云計算技術對企業(yè)IT技術的重塑,企業(yè)在云上存放了數量眾多、類型多樣的數據,并在云上構建了越來越多的應用。企業(yè)一方面要解決存儲成本持續(xù)增加的挑戰(zhàn);另一方面還需要滿足不同應用的數據不同訪問模式,比如,有的數據訪問頻次不同,需要的檢索時效不同,有的需要即時檢索,有的在幾十個小時檢索。

針對客戶的這些需求,亞馬遜云科技持續(xù)針對Amazon S3持續(xù)開展創(chuàng)新,如今Amazon S3提供了9個存儲層級,不同層級有不同的訪問特性和成本水平。2012年是云計算方興未艾的年代,亞馬遜云科技在標準Amazon S3的基礎上又發(fā)布了Amazon S3 Glacier(現已更名為Amazon S3 Glacier Flexible Retrieval ),它為需要長期存儲,且低訪問頻次的數據提供了低成本的數據存儲方案,也成了云上存儲多樣化的一個重要開端。

此后,為了提供更加靈活的數據存取速度和成本效率,滿足更多應用需求。亞馬遜云科技先后推出了成本最低的深度歸檔存儲Amazon S3 Glacier Deep Archive,支持快速檢索的歸檔存儲Amazon S3 Glacier Instant Retrieval,以及不常訪問、但在需要時要能快速訪問的Amazon S3 Standard-IA和Amazon S3 One Zone-IA等。

金山辦公是國內領先的辦公軟件和服務提供商,其旗艦產品 WPS Office是全球主流辦公軟件產品之一。WPS Office 對數據的存儲和管理有極為嚴苛的要求:WPS Office 存儲了 PB 級海量數據,帶來了巨大的存儲成本壓力;同時,由于 WPS Office 為用戶提供對 “冷” 文檔的及時訪問,因此對歸檔存儲(Archive Storage)的數據提取時間也有更高的標準。為了降低最終用戶的延遲和存儲成本,WPS Office 在亞馬遜云科技的協助下,最終通過 Amazon S3 完成了自動化生命周期管理流程的建立。其中,針對很少訪問且需要毫秒級檢索的長期數據,將其歸檔在更具有成本效益的 Amazon S3 Glacier Instant Retrieval 中。最終,WPS Office 有近一半的存儲進入到了 Amazon S3 Glacier Instant Retrieval 中,達成了數據訪問速度提升和存儲成本大幅優(yōu)化的雙重效果。

此外,針對用戶訪問模式不明確以及數據訪問模式不斷改變的情況,亞馬遜云科技還推出了Amazon S3新的存儲層級——Amazon S3 Intelligent-Tiering。該服務可以根據訪問頻率自動將數據移至成本最低的存儲層,在對象級別降低存儲成本,并且不會影響性能表現。自 2018 年Amazon S3 Intelligent-Tiering 推出以來,與 Amazon S3 Standard 相比,客戶通過采用 S3 Intelligent-Tiering 節(jié)省了 20 億美元。

迎接人工智能技術發(fā)展,AmazonS3性能實現突破性提升

隨著新的使用場景的出現,如機器學習訓練和推理、交互式分析、金融模型模擬、實時廣告和媒體內容創(chuàng)建,這類工作負載可能每分鐘寫入和訪問數據達百萬次,并需要一致的、毫秒級的響應時間以滿足性能需求。例如,人工智能(AI)和機器學習模型訓練通常需要在幾分鐘內處理數百萬張圖片和文本行,因此數據訪問速度對于實現最高的計算效率至關重要。

Amazon S3上存儲著各種不同類型的大量非結構化數據,這些非結構化數據通常是直接從真實世界中獲取的,因此它能更真實地反映現實世界的復雜性和多維度信息,利用這些數據做訓練能提高模型的實用價值,更好地滿足企業(yè)用戶需求。去年底,亞馬遜云科技在2023年re:Invent全球大會上,發(fā)布Amazon S3 Express One Zone,這是Amazon S3在性能方面的一次突破性提升。它采用了單可用區(qū)的架構設計,擁有個位數毫秒級響應時間,性能比標準版Amazon S3快了10倍,每分鐘可處理數百萬次請求。

對于計算密集型負載,Amazon S3 Express One Zone延遲的降低對用戶有顯而易見的價值。用ImageNet數據集進行為期15天訓練時,GPU經常需要等候標準版Amazon S3加載數據,而在換成S3 Express One Zone之后,GPU利用率持續(xù)穩(wěn)定在高水平,最終提早完成任務,釋放了GPU資源并節(jié)省成本。

Colorfront 致力于為電影行業(yè)開發(fā)高性能數字處理技術?!癈olorfront 將高性能 GPU 架構與 Amazon S3 Express One Zone 集成,實現對文件進行轉碼、解碼、轉換和封裝到各種格式的加速處理?!?Colorfront 解決方案工程總監(jiān) Brandon Heaslip 表示,“借助 Amazon S3 Express One Zone 個位數毫秒級的數據訪問速度,Colorfront的客戶可以將數字視頻處理速度提高70%,滿足了流媒體傳輸中多樣化的媒體和娛樂需求,并保持數字視頻的標準?!?/p>

除了Amazon S3 Express One Zone以外,亞馬遜云科技還發(fā)布了多個新特性,讓Amazon S3更好地支撐人工智能/機器學習工作負載。亞馬遜云科技在Amazon Common Runtime (CRT)中封裝訪問Amazon S3的性能最佳實踐,從而提高S3的傳輸性能和傳輸穩(wěn)定性。而且,CRT已經集成到包括AWS Python SDK、AWS CLI、Mountpoint以及PyTorch中,在CRT的幫助下,Mountpoint for Amazon S3和Amazon S3 Connector for PyTorch都可以提高存儲的性能表現,為機器學習負載中的數據存儲提供加速,使其更快完成訓練任務,進而幫助企業(yè)節(jié)省成本。

結束語

在過去的18年里,Amazon S3成為眾多用戶上云的第一步,從存儲開始步入云計算驅動的數字化轉型。如今,Amazon S3還在持續(xù)創(chuàng)新,全球數百萬客戶正使用Amazon S3存儲各種類型的數據,并將Amazon S3的數據對接到亞馬遜云科技各種計算引擎、數據庫引擎,與人工智能/機器學習和大數據分析等服務高度集成,為其業(yè)務創(chuàng)新帶來了更廣泛的可能性。

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內容真實性等。需要轉載請聯系該專欄作者,如若文章內容侵犯您的權益,請及時聯系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據媒體報道,騰訊和網易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數據產業(yè)博覽會開幕式在貴陽舉行,華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數據產業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經營業(yè)績穩(wěn)中有升 落實提質增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數字經濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯合牽頭組建的NVI技術創(chuàng)新聯盟在BIRTV2024超高清全產業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現場 NVI技術創(chuàng)新聯...

關鍵字: VI 傳輸協議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉