中國移動(dòng)“大云”計(jì)劃為移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)服務(wù)
掃描二維碼
隨時(shí)隨地手機(jī)看文章
12月8日消息,在2009(第三屆)移動(dòng)互聯(lián)網(wǎng)研討會(huì)的“云計(jì)算發(fā)展與應(yīng)用”分論壇上,中國移動(dòng)通信研究院業(yè)務(wù)支撐所副所長孫少陵博士介紹了中國移動(dòng)研究院在云計(jì)算方面的工作。并表示,中國移動(dòng)對(duì)云計(jì)算的研究為中國移動(dòng)IT支撐系統(tǒng)以及提供移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)和服務(wù)的需求而服務(wù)。
孫少陵給出了中國移動(dòng)研究院對(duì)云計(jì)算的定義:云計(jì)算是發(fā)源于搜索引擎平臺(tái),是互聯(lián)網(wǎng)企業(yè)在創(chuàng)業(yè)階段基于追求低成本、高效能以及資源靈活分配應(yīng)用快速部署的考慮而發(fā)出的一種IT系統(tǒng)實(shí)現(xiàn)技術(shù)。首先它要基于大規(guī)模、低成本、價(jià)格低廉的計(jì)算平臺(tái),同時(shí)必須是能夠資源靈活調(diào)配,應(yīng)用快速部署。
據(jù)了解,中國移動(dòng)在2007年開始了云計(jì)算研究,并將該研究計(jì)劃命名為“大云”計(jì)劃,在國內(nèi)也是起步較早。
孫少陵還介紹,中國移動(dòng)“大云”計(jì)劃是中國移動(dòng)研究院為打造中國移動(dòng)云計(jì)算基礎(chǔ)設(shè)施實(shí)施的關(guān)鍵技術(shù),目標(biāo)主要有兩個(gè):一是為中國移動(dòng)IT支撐系統(tǒng)服務(wù),(中國移動(dòng)IT支撐系統(tǒng)是全球最大的數(shù)據(jù)庫之一);二是為滿足中國移動(dòng)提供移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)和服務(wù)的需求。
據(jù)了解,中國移動(dòng)的“大云”計(jì)劃開始于2007年3月,在2007年7月份,中國移動(dòng)研究院用15臺(tái)PC基于開源Hadoop系統(tǒng)搭建云計(jì)算研究環(huán)境;到了2008年10月份,我建立了256個(gè)節(jié)點(diǎn)的運(yùn)算平臺(tái),開始類似于數(shù)據(jù)挖掘等等方面應(yīng)用開發(fā)和一些研究工作;2009年8月份,中國移動(dòng)研究院發(fā)布了一個(gè)0.5版本的“大云”系統(tǒng);
孫少陵還表示,預(yù)計(jì)到2009年12月底,中國移動(dòng)研究院的實(shí)驗(yàn)室云計(jì)算平臺(tái)將擴(kuò)容到1024個(gè)節(jié)點(diǎn),并計(jì)劃在2010年適當(dāng)時(shí)間會(huì)發(fā)布1.0版本。
以下為孫少陵的演講全文:
孫少陵:各位領(lǐng)導(dǎo)、各位嘉賓,下午好!非常高興今天有這個(gè)機(jī)會(huì)跟大家交流一下云計(jì)算,也談一下我們中國移動(dòng)研究院對(duì)云計(jì)算如何理解,同時(shí)匯報(bào)一下研究院這兩年在云計(jì)算方面做的一些工作。
我的演講主要包括兩部分:云計(jì)算概述,談?wù)勎覀儗?duì)云計(jì)算是如何理解。中國移動(dòng)“大云”計(jì)劃,現(xiàn)在對(duì)于整個(gè)云計(jì)算研究和開發(fā)計(jì)劃給大家匯報(bào)一下。
云計(jì)算技術(shù)從今年才開始特別的熱起來,現(xiàn)在在網(wǎng)上大家可以看到關(guān)于云計(jì)算定義幾十種,甚至上百種定義,每一個(gè)互聯(lián)網(wǎng)或者IT界專家對(duì)云計(jì)算理解都不一樣。因?yàn)樵朴?jì)算不是從實(shí)驗(yàn)室,從院校、學(xué)術(shù)界產(chǎn)生的東西,而是真正從產(chǎn)業(yè)里,從互聯(lián)網(wǎng)上產(chǎn)生的東西,所以我們覺得有必要先回顧一下云計(jì)算的產(chǎn)生歷程。
1961年的時(shí)候,斯坦福教授提出計(jì)算資源可以成為一些基礎(chǔ)設(shè)施的東西。到了2001年,GOOGLE在搜索引擎大會(huì)上首次提出云計(jì)算概念。2003年GOOGLE逐步開始在內(nèi)部使用云計(jì)算,為它的搜索提供服務(wù)。同時(shí)在08年的時(shí)候,真正把這個(gè)平臺(tái)開放出來。2006年,亞馬遜正式提供云計(jì)算服務(wù),把云計(jì)算作為一種商業(yè)服務(wù)向外提供。2008年,微軟推出Azure云計(jì)算平臺(tái)。
第一種是GOOGLE模式,把云計(jì)算作為一個(gè)能夠提供大規(guī)模數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析的平臺(tái),通過這樣的平臺(tái),GOOGLE可以在它的搜索引擎等等互聯(lián)網(wǎng)服務(wù)上,以別人幾十分之一的成本提供服務(wù)。這是GOOGLE的技術(shù)路線。
第二種是亞馬遜的技術(shù)路線。把IT一些基礎(chǔ)資源,包括計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源抽象化,變成一個(gè)資源池,可以根據(jù)用戶使用需求按量提供服務(wù),按使用量進(jìn)行收費(fèi)。這是亞馬遜的技術(shù)路線。
第三種技術(shù)路線是把軟件一種服務(wù)模式變成了向用戶直接提供服務(wù),把原來賣軟件變成賣服務(wù)的模式。他們這種技術(shù)路線跟云沒有必然聯(lián)系,但是在云平臺(tái)上會(huì)得到更有效的推廣。
中國移動(dòng)研究院是在2007年開始起用云計(jì)算研究,也就是我們“大云”計(jì)劃。在國內(nèi)我們的提供比較早。
對(duì)于云計(jì)算的定義,我們也是綜合了業(yè)界很多專家,以及我們?cè)诰€網(wǎng)研究和實(shí)踐,對(duì)于云計(jì)算有這樣一個(gè)定義:云計(jì)算是發(fā)源于搜索引擎平臺(tái),是互聯(lián)網(wǎng)企業(yè)在創(chuàng)業(yè)階段基于追求低成本、高效能以及資源靈活分配應(yīng)用快速部署的考慮而發(fā)出的一種IT系統(tǒng)實(shí)現(xiàn)技術(shù)。首先它要基于大規(guī)模、低成本、價(jià)格低廉的計(jì)算平臺(tái),同時(shí)必須是能夠資源靈活調(diào)配,應(yīng)用快速部署。
它應(yīng)該有以下幾個(gè)特征:大規(guī)模。云計(jì)算如果不能無限擴(kuò)展的話,不能稱為云計(jì)算平臺(tái)。世界上最大的GOOGLE,接近上百萬臺(tái)服務(wù)器。
云計(jì)算應(yīng)該有非常好的環(huán)境,不僅能夠擴(kuò)大,還能縮小。亞馬遜可以把一臺(tái)服務(wù)器分成多臺(tái)服務(wù)器,傳給用戶。
資源共享,云計(jì)算突出資源池的概念,對(duì)用戶的需求,可以以抽象的計(jì)算能力、存儲(chǔ)能力、網(wǎng)絡(luò)能力方式提供給用戶,并且能夠讓用戶按照使用量進(jìn)行消費(fèi)。
動(dòng)態(tài)分配,我們資源能夠靈活進(jìn)行分配。用戶如果現(xiàn)在需要更多資源的話,可以很快去部署,要有很強(qiáng)的管理和調(diào)度能力。
跨地域,云計(jì)算需要能夠整合不同地域資源。比如說GOOGLE的云計(jì)算的計(jì)算中心分布在全世界任何一個(gè)地方,為了節(jié)能減排,比如它在冬天的時(shí)候可以讓比利時(shí)這邊的計(jì)算中心通過自然散熱的方式工作,但是一年有幾天溫度無法保證正常運(yùn)行,可以把所有業(yè)務(wù)遷移到南半球等等這樣的地球,所以這種跨地域能力也是云計(jì)算的特征。
云計(jì)算按商業(yè)模式可以分成IaaS,就是給使用者提供最簡單的計(jì)算存儲(chǔ)和網(wǎng)絡(luò)等等能力,讓用戶自己搭建自己的業(yè)務(wù)平臺(tái)。PAAS,在云計(jì)算平臺(tái)之上抽象出一些比較簡單易用的接口和能力,讓用戶能夠在這個(gè)平臺(tái)上快速搭建自己的應(yīng)用。SAAS,實(shí)際上不是跟云計(jì)算必然聯(lián)系,是一種服務(wù)模式。
[!--empirenews.page--]1[/!--empirenews.page--]從服務(wù)對(duì)象,提供公有云、私有云、混合云。我們認(rèn)為云計(jì)算應(yīng)該具有的技術(shù)架構(gòu),從層次上來說分:
資源層是提供最基本的Iaas能力資源,比如服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)。
平臺(tái)層是整個(gè)云計(jì)算架構(gòu)當(dāng)中比較核心的一塊。平臺(tái)層包含一些數(shù)據(jù)挖掘、并行計(jì)算等等一些軟件。我們作為一個(gè)運(yùn)營商,可以把網(wǎng)絡(luò)當(dāng)中一些比較重要的能力,比如待計(jì)費(fèi)等等抽象出來,作為平臺(tái)層一部分開放給用戶。
應(yīng)用層就是各種各樣第三方或者自有的一些應(yīng)用軟件。
很重要的運(yùn)營管理系統(tǒng),整個(gè)云計(jì)算成千上萬臺(tái)服務(wù)器,如果能夠有效協(xié)同工作的話,必須有賴于強(qiáng)大的運(yùn)營管理平臺(tái)。
云計(jì)算市場前景,我們引用一個(gè)數(shù)字,到了2013年,云計(jì)算市場規(guī)模會(huì)比2009年增長2.7倍,是一個(gè)比較樂觀的估計(jì)。云計(jì)算目前整個(gè)生態(tài)環(huán)境,總的來說是處在一個(gè)正在成熟的階段,或者用某一些媒體來講,是一個(gè)戰(zhàn)國紛爭的階段。如果把目前整個(gè)云計(jì)算業(yè)界套用在運(yùn)營商傳統(tǒng)觀念上,服務(wù)提供商、系統(tǒng)集成商、平臺(tái)供應(yīng)商、應(yīng)用開發(fā)商上面的話,我們可以看到有很多公司實(shí)際上在很多環(huán)節(jié)當(dāng)中都出現(xiàn),應(yīng)該說目前這種狀況是處在一個(gè)整個(gè)產(chǎn)業(yè)鏈正在形成的過程當(dāng)中。
我們對(duì)于產(chǎn)業(yè)環(huán)境的分析,我們認(rèn)為云計(jì)算打破了產(chǎn)生的IT業(yè)務(wù)和云,尚未形成穩(wěn)定的價(jià)值鏈分工,傳統(tǒng)的設(shè)備提供商利用云計(jì)算廣泛進(jìn)入服務(wù)領(lǐng)域。比如說像思科、IBM等等,包括SAN公司是傳統(tǒng)的設(shè)備系統(tǒng)提供商,現(xiàn)在也紛紛進(jìn)入云計(jì)算運(yùn)營領(lǐng)域。目前整個(gè)云計(jì)算產(chǎn)業(yè)戰(zhàn)略還在形成過程當(dāng)中。
現(xiàn)有云計(jì)算解決方案呈現(xiàn)封閉、私有、競爭化的過程當(dāng)中,這也是我們基于對(duì)目前云計(jì)算標(biāo)準(zhǔn)化狀況的探索。我們發(fā)現(xiàn)現(xiàn)在在Iaas層面,目前有很多標(biāo)準(zhǔn)化組織在開始啟動(dòng)一些研究項(xiàng)目,當(dāng)然在Paas,以及更上層,目前這方面工作相對(duì)比較少,但是云計(jì)算有很多開源組織,他們非常的活躍。比如Hadoop等等。
互聯(lián)網(wǎng)服務(wù)商,比如GOOGLE、亞馬遜,在云計(jì)算方面是領(lǐng)先于傳統(tǒng)設(shè)備制造商和系統(tǒng)集成商。
中國移動(dòng)“大云”計(jì)劃是中國移動(dòng)研究院為打造中國移動(dòng)云計(jì)算基礎(chǔ)設(shè)施實(shí)施的關(guān)鍵技術(shù),目標(biāo)主要有兩個(gè):一是為中國移動(dòng)IT支撐系統(tǒng)服務(wù)。目前中國移動(dòng)IT支撐系統(tǒng)是全球最大的數(shù)據(jù)庫之一。二是為滿足我公司提供移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)和服務(wù)的需求。
回顧“大云”計(jì)劃,我們從2007年3月份啟動(dòng)“大云”項(xiàng)目的研究方向,到2007年7月份,我們?cè)趯?shí)驗(yàn)室用15臺(tái)PC基于開源Hadoop系統(tǒng)搭建云計(jì)算研究環(huán)境;在2008年10月份,我們?cè)趯?shí)驗(yàn)室建立了256個(gè)節(jié)點(diǎn)的運(yùn)算平臺(tái),開始類似于像數(shù)據(jù)挖掘等等方面應(yīng)用開發(fā)和一些研究工作。2009年8月份,我們?cè)谘芯吭簝?nèi)部發(fā)布了一個(gè)0.5版本的“大云”系統(tǒng)。我們?cè)?009年12月底,會(huì)把我們實(shí)驗(yàn)室云計(jì)算平臺(tái)擴(kuò)容到1024個(gè)節(jié)點(diǎn),我們計(jì)劃在明年適當(dāng)時(shí)間會(huì)發(fā)布1.0版本。同時(shí),中國移動(dòng)還在進(jìn)行云計(jì)算整個(gè)在中國移動(dòng)線網(wǎng)上引入的一些策略、標(biāo)準(zhǔn)規(guī)范等等工作。
“大云”技術(shù)架構(gòu)包括幾個(gè)層面:
基于開源LINUX和SAN虛擬機(jī)系統(tǒng),做我們Iaas系統(tǒng)平臺(tái)。在這個(gè)基礎(chǔ)之上我們研發(fā)幾個(gè)模塊,一是海量的數(shù)據(jù)分布文件系統(tǒng),主要處理一些P處理,大文件存儲(chǔ)處理。二是對(duì)于小文件多讀寫文件系統(tǒng),我們做了一個(gè)對(duì)象文件存儲(chǔ)系統(tǒng)。此外我們基于文件系統(tǒng)之上做了一個(gè)海量的數(shù)據(jù)管理平臺(tái),數(shù)據(jù)倉庫系統(tǒng)。同時(shí),我們還做了一種并行程序設(shè)計(jì)和開發(fā)。
為了跟線網(wǎng)一些應(yīng)用試點(diǎn)進(jìn)行結(jié)合,我們現(xiàn)在在上面做了幾個(gè)應(yīng)用,一是數(shù)據(jù)挖掘工具庫,叫BCPDM,是一種圖形可視化的軟件系統(tǒng),可以進(jìn)行大規(guī)模的并行數(shù)據(jù)挖掘。二是云存儲(chǔ)的中間件。這個(gè)東西比較適合于在網(wǎng)上提供一些個(gè)人網(wǎng)絡(luò)備份、網(wǎng)盤等等服務(wù)。同時(shí)我們?yōu)榱藵M足內(nèi)部IT支撐系統(tǒng)的需求,我們做了一個(gè)搜索引擎的延伸系統(tǒng)。這是“大云”目前主要的工作。我們實(shí)驗(yàn)室目前有256個(gè)節(jié)點(diǎn),到12月底之前可以擴(kuò)容到1024個(gè)節(jié)點(diǎn),整個(gè)配置就不詳細(xì)說了。
下面給大家介紹一下我們?cè)诰€網(wǎng)某一個(gè)省公司做了一個(gè)云計(jì)算落地的試點(diǎn),也就是說基于云計(jì)算做了一個(gè)移動(dòng)用戶行為分析的實(shí)驗(yàn)。實(shí)驗(yàn)?zāi)繕?biāo)基于線網(wǎng)一些用戶數(shù)據(jù)和用戶的使用記錄,把用戶進(jìn)行細(xì)分。最后實(shí)驗(yàn)結(jié)果非常樂觀,正確度滿足商業(yè)標(biāo)準(zhǔn),在時(shí)間性能上,總體來說比現(xiàn)有服務(wù)系統(tǒng)提高3-7倍性能,從成本上來說比現(xiàn)有解決方案降低6倍,也就是原來成本的1/6。從運(yùn)營成本,耗電和機(jī)房占地面積來說,和原來解決方案是相當(dāng)?shù)摹?/p>
云計(jì)算,可以看出它具有非常大的成本優(yōu)勢(shì)。同時(shí)為了推動(dòng)云計(jì)算在產(chǎn)業(yè)鏈的成熟,以及應(yīng)用盡快的推廣,我們也積極的進(jìn)行外部交流和合作。去年11月份,中國云計(jì)算專委會(huì)在中國移動(dòng)研究院第一次開會(huì),在中國移動(dòng)研究院正式成立。我們后面的工作也是在云計(jì)算專委會(huì)的指導(dǎo)之下去推進(jìn)的。此外,我們?cè)?strong>中國移動(dòng)網(wǎng)站上專門開辟云計(jì)算頻道,提供云計(jì)算技術(shù)交流平臺(tái),同時(shí)也對(duì)一些好的技術(shù)和一些方案進(jìn)行推廣。我們積極參與中國云計(jì)算大會(huì),在今年上半年,中國第一屆云計(jì)算大會(huì)上我們也展示了“大云”研發(fā)成果,當(dāng)時(shí)得到很多業(yè)界專家的關(guān)注。我們同時(shí)還積極參與一些標(biāo)準(zhǔn)化組織和開源社區(qū)的活動(dòng)。今年我們主要參與的是Hadoop開源社區(qū)的活動(dòng),也提交了很多bug,同時(shí)也有好多好的方案,我們有一些創(chuàng)新的解決方案提,我們也積極在推。在Hadoop參會(huì)當(dāng)中,我們也介紹數(shù)據(jù)挖掘方面的應(yīng)用試點(diǎn)的體會(huì),也得到業(yè)界的廣泛關(guān)注。
云計(jì)算的推廣成熟并不是一帆風(fēng)順的,目前云計(jì)算還面臨很多挑戰(zhàn)。
[!--empirenews.page--]2[/!--empirenews.page--]首先,應(yīng)用和數(shù)據(jù)安全問題,因?yàn)樵朴?jì)算提供這樣一個(gè)資源池,應(yīng)用模式,用戶把自己的數(shù)據(jù)托管到云端,也就是交給運(yùn)營商或者云計(jì)算的業(yè)務(wù)提供商,這個(gè)時(shí)候怎么保證用戶的數(shù)據(jù)是安全的,用戶的隱私是得到保護(hù)的?這個(gè)目前在云計(jì)算產(chǎn)業(yè)里面,大家討論的非常熱烈。
其次,誤操作和標(biāo)準(zhǔn)化的問題。一個(gè)產(chǎn)業(yè)真正做到成熟的話,必須要有一個(gè)很好的價(jià)值鏈,有一個(gè)比較明確的分工。目前前面可以看到云計(jì)算產(chǎn)業(yè)還是戰(zhàn)國紛爭的狀態(tài),我們也在積極推動(dòng)云計(jì)算標(biāo)準(zhǔn)化的成熟,明年我們會(huì)參加OGF等等這樣一些標(biāo)準(zhǔn)化組織,去推進(jìn)云計(jì)算標(biāo)準(zhǔn)化工作。當(dāng)然我們覺得在云計(jì)算里面,開源是一個(gè)不可忽視的力量,我們有一些開源組織也會(huì)在里面作出我們的貢獻(xiàn)。
其三,要求管理模式發(fā)生相應(yīng)的變化。我們都知道在傳統(tǒng)運(yùn)營商建設(shè)網(wǎng)絡(luò)過程當(dāng)中,一般來說設(shè)備制造商是交鑰匙的方式,也就是說設(shè)備制造商去采購硬件和數(shù)據(jù)庫等等商業(yè)軟件,在上面開發(fā)應(yīng)用,把這些應(yīng)用跟下面軟硬件平臺(tái)進(jìn)行集成,然后一攬子交給運(yùn)營商。對(duì)于運(yùn)營商來說,這是一個(gè)黑盒子。但是在云計(jì)算時(shí)代,這種方式是不可操作的,因?yàn)樵朴?jì)算的關(guān)鍵就是要求下面這些計(jì)算網(wǎng)絡(luò)和存儲(chǔ)資源要集中化,要統(tǒng)一化。
其四,從服務(wù)質(zhì)量來說,云計(jì)算這個(gè)技術(shù)比較新,有很多不成熟的地方,我們也可以看到像亞馬遜、GOOGLE等等這些公司的平臺(tái)都發(fā)生過一些事件,怎么把平臺(tái)做到穩(wěn)定可靠,是我們提供商業(yè)云服務(wù)的關(guān)鍵。
以上問題希望能跟業(yè)界專家進(jìn)行探討。謝謝大家!