華為將開(kāi)源這套引擎了！大數(shù)據(jù)管理不用愁了！

11月19日在華為2019全球數(shù)據(jù)基礎(chǔ)設(shè)施論壇上，華為Cloud & AI產(chǎn)品與服務(wù)總裁侯金龍宣布全面啟動(dòng)數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略，并開(kāi)源數(shù)據(jù)虛擬化引擎“河圖引擎”（HetuEngine）。

據(jù)悉，“河圖引擎”開(kāi)源版本名稱(chēng)為“openHetu”，開(kāi)發(fā)者可基于開(kāi)源代碼進(jìn)行定制，主要包括數(shù)據(jù)源擴(kuò)展、SQL執(zhí)行策略等。實(shí)現(xiàn)應(yīng)用快速對(duì)接，提升開(kāi)發(fā)效率。另外，該引擎將在2020年6月上線(xiàn)。

公開(kāi)數(shù)據(jù)顯示，2018年中國(guó)的總數(shù)據(jù)量就已擁有7.6 ZB，至2025年中國(guó)的總數(shù)據(jù)量將躍升至48.6 ZB，全球總數(shù)據(jù)量達(dá)到125 ZB，可以說(shuō)到2020年每天就有1.5 GB的數(shù)據(jù)量生成。但實(shí)際數(shù)據(jù)的利用量卻并不樂(lè)觀(guān)。

據(jù)了解，這款引擎主要針對(duì)的是大數(shù)據(jù)管理，讓開(kāi)發(fā)者好似使用數(shù)據(jù)庫(kù)一般使用數(shù)據(jù)，復(fù)用現(xiàn)有生態(tài)、工具、技能。主要體現(xiàn)在“一個(gè)目錄（1000+異地異構(gòu)數(shù)據(jù)源）”，“一個(gè)入口（5000節(jié)點(diǎn)SQL引擎，實(shí)現(xiàn)30種異地異構(gòu)數(shù)據(jù)源統(tǒng)一SQL訪(fǎng)問(wèn)）”，“一份數(shù)據(jù)（CarbonData技術(shù)實(shí)現(xiàn)多場(chǎng)景分析和多應(yīng)用共享）”，“統(tǒng)一安全（異地異構(gòu)數(shù)據(jù)源集中式安全配置與管控）”。

此前9月，華為全聯(lián)接大會(huì)上指出，將進(jìn)行“一云兩翼雙引擎”的鯤鵬計(jì)算機(jī)產(chǎn)業(yè)布局，其中，“一云”指的是華為云，“兩翼”指的是智能計(jì)算和智能數(shù)據(jù)，“雙引擎”指的是“鯤鵬+昇騰”的雙引擎。

此次發(fā)布的引擎主要針對(duì)數(shù)據(jù)角度進(jìn)行“平臺(tái)+生態(tài)”戰(zhàn)略的再升級(jí)。大會(huì)上，華為指出將通過(guò)對(duì)數(shù)據(jù)“采、存、算、管、用”實(shí)施端到端的整合和優(yōu)化，另外將基于“AI+存儲(chǔ)+華為云”，通過(guò)云上云下結(jié)合，云上訓(xùn)練和云下推力讓系統(tǒng)越用越快。

不過(guò)這個(gè)引擎對(duì)比騰訊與阿里巴巴的引擎又有區(qū)別呢？目前來(lái)說(shuō)，虛擬化引擎概念應(yīng)該是華為在國(guó)內(nèi)首次提出的，此前騰訊與阿里巴巴發(fā)布的相關(guān)引擎主要是數(shù)據(jù)中臺(tái)。這種技術(shù)也許對(duì)于近二十年來(lái)社會(huì)變革來(lái)說(shuō)是最佳的。

目前來(lái)說(shuō)，數(shù)據(jù)虛擬化是艱巨但又剛需的，隨著數(shù)據(jù)量的飛速上升以及應(yīng)用范圍的拓寬，數(shù)據(jù)虛擬化就是必經(jīng)之路了。迄今為止，雖然數(shù)據(jù)虛擬化平臺(tái)并不鮮見(jiàn)，但真正將云與大數(shù)據(jù)世界拼接在一起的層、界面和抽象化展開(kāi)進(jìn)一步概述之路仍需繼續(xù)前行。

當(dāng)然，能沿著“數(shù)據(jù)-虛擬化”路線(xiàn)走多遠(yuǎn)，將取決于用戶(hù)業(yè)務(wù)需求和大數(shù)據(jù)環(huán)境的復(fù)雜性。此外，還取決于用戶(hù)對(duì)風(fēng)險(xiǎn)、復(fù)雜性和困難的承受程度。在未來(lái)，隨著分析模型、規(guī)則和大數(shù)據(jù)云上匯聚的信息日益復(fù)雜，平臺(tái)將成為虛擬化訪(fǎng)問(wèn)、執(zhí)行和管理的核心。

相信通過(guò)華為的“平臺(tái)+生態(tài)”戰(zhàn)略的進(jìn)一步實(shí)施，這個(gè)開(kāi)源平臺(tái)將會(huì)為大眾帶來(lái)更多普惠。

（21ic原創(chuàng)內(nèi)容，轉(zhuǎn)載請(qǐng)標(biāo)明出處，作者：付斌）