中國移動“大云”計劃為移動互聯(lián)網(wǎng)業(yè)務(wù)服務(wù)
12月8日消息,在2009(第三屆)移動互聯(lián)網(wǎng)研討會的“云計算發(fā)展與應(yīng)用”分論壇上,中國移動通信研究院業(yè)務(wù)支撐所副所長孫少陵博士介紹了中國移動研究院在云計算方面的工作。并表示,中國移動對云計算的研究為中國移動IT支撐系統(tǒng)以及提供移動互聯(lián)網(wǎng)業(yè)務(wù)和服務(wù)的需求而服務(wù)。
孫少陵給出了中國移動研究院對云計算的定義:云計算是發(fā)源于搜索引擎平臺,是互聯(lián)網(wǎng)企業(yè)在創(chuàng)業(yè)階段基于追求低成本、高效能以及資源靈活分配應(yīng)用快速部署的考慮而發(fā)出的一種IT系統(tǒng)實(shí)現(xiàn)技術(shù)。首先它要基于大規(guī)模、低成本、價格低廉的計算平臺,同時必須是能夠資源靈活調(diào)配,應(yīng)用快速部署。
據(jù)了解,中國移動在2007年開始了云計算研究,并將該研究計劃命名為“大云”計劃,在國內(nèi)也是起步較早。
孫少陵還介紹,中國移動“大云”計劃是中國移動研究院為打造中國移動云計算基礎(chǔ)設(shè)施實(shí)施的關(guān)鍵技術(shù),目標(biāo)主要有兩個:一是為中國移動IT支撐系統(tǒng)服務(wù),(中國移動IT支撐系統(tǒng)是全球最大的數(shù)據(jù)庫之一);二是為滿足中國移動提供移動互聯(lián)網(wǎng)業(yè)務(wù)和服務(wù)的需求。
據(jù)了解,中國移動的“大云”計劃開始于2007年3月,在2007年7月份,中國移動研究院用15臺PC基于開源Hadoop系統(tǒng)搭建云計算研究環(huán)境;到了2008年10月份,我建立了256個節(jié)點(diǎn)的運(yùn)算平臺,開始類似于數(shù)據(jù)挖掘等等方面應(yīng)用開發(fā)和一些研究工作;2009年8月份,中國移動研究院發(fā)布了一個0.5版本的“大云”系統(tǒng);
孫少陵還表示,預(yù)計到2009年12月底,中國移動研究院的實(shí)驗室云計算平臺將擴(kuò)容到1024個節(jié)點(diǎn),并計劃在2010年適當(dāng)時間會發(fā)布1.0版本。
以下為孫少陵的演講全文:
孫少陵:各位領(lǐng)導(dǎo)、各位嘉賓,下午好!非常高興今天有這個機(jī)會跟大家交流一下云計算,也談一下我們中國移動研究院對云計算如何理解,同時匯報一下研究院這兩年在云計算方面做的一些工作。
我的演講主要包括兩部分:云計算概述,談?wù)勎覀儗υ朴嬎闶侨绾卫斫?。中國移動“大云”計劃,現(xiàn)在對于整個云計算研究和開發(fā)計劃給大家匯報一下。
云計算技術(shù)從今年才開始特別的熱起來,現(xiàn)在在網(wǎng)上大家可以看到關(guān)于云計算定義幾十種,甚至上百種定義,每一個互聯(lián)網(wǎng)或者IT界專家對云計算理解都不一樣。因為云計算不是從實(shí)驗室,從院校、學(xué)術(shù)界產(chǎn)生的東西,而是真正從產(chǎn)業(yè)里,從互聯(lián)網(wǎng)上產(chǎn)生的東西,所以我們覺得有必要先回顧一下云計算的產(chǎn)生歷程。
1961年的時候,斯坦福教授提出計算資源可以成為一些基礎(chǔ)設(shè)施的東西。到了2001年,GOOGLE在搜索引擎大會上首次提出云計算概念。2003年GOOGLE逐步開始在內(nèi)部使用云計算,為它的搜索提供服務(wù)。同時在08年的時候,真正把這個平臺開放出來。2006年,亞馬遜正式提供云計算服務(wù),把云計算作為一種商業(yè)服務(wù)向外提供。2008年,微軟推出Azure云計算平臺。
第一種是GOOGLE模式,把云計算作為一個能夠提供大規(guī)模數(shù)據(jù)的存儲、數(shù)據(jù)處理、數(shù)據(jù)分析的平臺,通過這樣的平臺,GOOGLE可以在它的搜索引擎等等互聯(lián)網(wǎng)服務(wù)上,以別人幾十分之一的成本提供服務(wù)。這是GOOGLE的技術(shù)路線。
第二種是亞馬遜的技術(shù)路線。把IT一些基礎(chǔ)資源,包括計算資源、存儲資源和網(wǎng)絡(luò)資源抽象化,變成一個資源池,可以根據(jù)用戶使用需求按量提供服務(wù),按使用量進(jìn)行收費(fèi)。這是亞馬遜的技術(shù)路線。
第三種技術(shù)路線是把軟件一種服務(wù)模式變成了向用戶直接提供服務(wù),把原來賣軟件變成賣服務(wù)的模式。他們這種技術(shù)路線跟云沒有必然聯(lián)系,但是在云平臺上會得到更有效的推廣。
中國移動研究院是在2007年開始起用云計算研究,也就是我們“大云”計劃。在國內(nèi)我們的提供比較早。
對于云計算的定義,我們也是綜合了業(yè)界很多專家,以及我們在線網(wǎng)研究和實(shí)踐,對于云計算有這樣一個定義:云計算是發(fā)源于搜索引擎平臺,是互聯(lián)網(wǎng)企業(yè)在創(chuàng)業(yè)階段基于追求低成本、高效能以及資源靈活分配應(yīng)用快速部署的考慮而發(fā)出的一種IT系統(tǒng)實(shí)現(xiàn)技術(shù)。首先它要基于大規(guī)模、低成本、價格低廉的計算平臺,同時必須是能夠資源靈活調(diào)配,應(yīng)用快速部署。
它應(yīng)該有以下幾個特征:大規(guī)模。云計算如果不能無限擴(kuò)展的話,不能稱為云計算平臺。世界上最大的GOOGLE,接近上百萬臺服務(wù)器。
云計算應(yīng)該有非常好的環(huán)境,不僅能夠擴(kuò)大,還能縮小。亞馬遜可以把一臺服務(wù)器分成多臺服務(wù)器,傳給用戶。
資源共享,云計算突出資源池的概念,對用戶的需求,可以以抽象的計算能力、存儲能力、網(wǎng)絡(luò)能力方式提供給用戶,并且能夠讓用戶按照使用量進(jìn)行消費(fèi)。
動態(tài)分配,我們資源能夠靈活進(jìn)行分配。用戶如果現(xiàn)在需要更多資源的話,可以很快去部署,要有很強(qiáng)的管理和調(diào)度能力。
跨地域,云計算需要能夠整合不同地域資源。比如說GOOGLE的云計算的計算中心分布在全世界任何一個地方,為了節(jié)能減排,比如它在冬天的時候可以讓比利時這邊的計算中心通過自然散熱的方式工作,但是一年有幾天溫度無法保證正常運(yùn)行,可以把所有業(yè)務(wù)遷移到南半球等等這樣的地球,所以這種跨地域能力也是云計算的特征。
云計算按商業(yè)模式可以分成IaaS,就是給使用者提供最簡單的計算存儲和網(wǎng)絡(luò)等等能力,讓用戶自己搭建自己的業(yè)務(wù)平臺。PAAS,在云計算平臺之上抽象出一些比較簡單易用的接口和能力,讓用戶能夠在這個平臺上快速搭建自己的應(yīng)用。SAAS,實(shí)際上不是跟云計算必然聯(lián)系,是一種服務(wù)模式。
1[/!--empirenews.page--]從服務(wù)對象,提供公有云、私有云、混合云。我們認(rèn)為云計算應(yīng)該具有的技術(shù)架構(gòu),從層次上來說分:
資源層是提供最基本的Iaas能力資源,比如服務(wù)器、存儲和網(wǎng)絡(luò)。
平臺層是整個云計算架構(gòu)當(dāng)中比較核心的一塊。平臺層包含一些數(shù)據(jù)挖掘、并行計算等等一些軟件。我們作為一個運(yùn)營商,可以把網(wǎng)絡(luò)當(dāng)中一些比較重要的能力,比如待計費(fèi)等等抽象出來,作為平臺層一部分開放給用戶。
應(yīng)用層就是各種各樣第三方或者自有的一些應(yīng)用軟件。
很重要的運(yùn)營管理系統(tǒng),整個云計算成千上萬臺服務(wù)器,如果能夠有效協(xié)同工作的話,必須有賴于強(qiáng)大的運(yùn)營管理平臺。
云計算市場前景,我們引用一個數(shù)字,到了2013年,云計算市場規(guī)模會比2009年增長2.7倍,是一個比較樂觀的估計。云計算目前整個生態(tài)環(huán)境,總的來說是處在一個正在成熟的階段,或者用某一些媒體來講,是一個戰(zhàn)國紛爭的階段。如果把目前整個云計算業(yè)界套用在運(yùn)營商傳統(tǒng)觀念上,服務(wù)提供商、系統(tǒng)集成商、平臺供應(yīng)商、應(yīng)用開發(fā)商上面的話,我們可以看到有很多公司實(shí)際上在很多環(huán)節(jié)當(dāng)中都出現(xiàn),應(yīng)該說目前這種狀況是處在一個整個產(chǎn)業(yè)鏈正在形成的過程當(dāng)中。
我們對于產(chǎn)業(yè)環(huán)境的分析,我們認(rèn)為云計算打破了產(chǎn)生的IT業(yè)務(wù)和云,尚未形成穩(wěn)定的價值鏈分工,傳統(tǒng)的設(shè)備提供商利用云計算廣泛進(jìn)入服務(wù)領(lǐng)域。比如說像思科、IBM等等,包括SAN公司是傳統(tǒng)的設(shè)備系統(tǒng)提供商,現(xiàn)在也紛紛進(jìn)入云計算運(yùn)營領(lǐng)域。目前整個云計算產(chǎn)業(yè)戰(zhàn)略還在形成過程當(dāng)中。
現(xiàn)有云計算解決方案呈現(xiàn)封閉、私有、競爭化的過程當(dāng)中,這也是我們基于對目前云計算標(biāo)準(zhǔn)化狀況的探索。我們發(fā)現(xiàn)現(xiàn)在在Iaas層面,目前有很多標(biāo)準(zhǔn)化組織在開始啟動一些研究項目,當(dāng)然在Paas,以及更上層,目前這方面工作相對比較少,但是云計算有很多開源組織,他們非常的活躍。比如Hadoop等等。
互聯(lián)網(wǎng)服務(wù)商,比如GOOGLE、亞馬遜,在云計算方面是領(lǐng)先于傳統(tǒng)設(shè)備制造商和系統(tǒng)集成商。
中國移動“大云”計劃是中國移動研究院為打造中國移動云計算基礎(chǔ)設(shè)施實(shí)施的關(guān)鍵技術(shù),目標(biāo)主要有兩個:一是為中國移動IT支撐系統(tǒng)服務(wù)。目前中國移動IT支撐系統(tǒng)是全球最大的數(shù)據(jù)庫之一。二是為滿足我公司提供移動互聯(lián)網(wǎng)業(yè)務(wù)和服務(wù)的需求。
回顧“大云”計劃,我們從2007年3月份啟動“大云”項目的研究方向,到2007年7月份,我們在實(shí)驗室用15臺PC基于開源Hadoop系統(tǒng)搭建云計算研究環(huán)境;在2008年10月份,我們在實(shí)驗室建立了256個節(jié)點(diǎn)的運(yùn)算平臺,開始類似于像數(shù)據(jù)挖掘等等方面應(yīng)用開發(fā)和一些研究工作。2009年8月份,我們在研究院內(nèi)部發(fā)布了一個0.5版本的“大云”系統(tǒng)。我們在2009年12月底,會把我們實(shí)驗室云計算平臺擴(kuò)容到1024個節(jié)點(diǎn),我們計劃在明年適當(dāng)時間會發(fā)布1.0版本。同時,中國移動還在進(jìn)行云計算整個在中國移動線網(wǎng)上引入的一些策略、標(biāo)準(zhǔn)規(guī)范等等工作。
“大云”技術(shù)架構(gòu)包括幾個層面:
基于開源LINUX和SAN虛擬機(jī)系統(tǒng),做我們Iaas系統(tǒng)平臺。在這個基礎(chǔ)之上我們研發(fā)幾個模塊,一是海量的數(shù)據(jù)分布文件系統(tǒng),主要處理一些P處理,大文件存儲處理。二是對于小文件多讀寫文件系統(tǒng),我們做了一個對象文件存儲系統(tǒng)。此外我們基于文件系統(tǒng)之上做了一個海量的數(shù)據(jù)管理平臺,數(shù)據(jù)倉庫系統(tǒng)。同時,我們還做了一種并行程序設(shè)計和開發(fā)。
為了跟線網(wǎng)一些應(yīng)用試點(diǎn)進(jìn)行結(jié)合,我們現(xiàn)在在上面做了幾個應(yīng)用,一是數(shù)據(jù)挖掘工具庫,叫BCPDM,是一種圖形可視化的軟件系統(tǒng),可以進(jìn)行大規(guī)模的并行數(shù)據(jù)挖掘。二是云存儲的中間件。這個東西比較適合于在網(wǎng)上提供一些個人網(wǎng)絡(luò)備份、網(wǎng)盤等等服務(wù)。同時我們?yōu)榱藵M足內(nèi)部IT支撐系統(tǒng)的需求,我們做了一個搜索引擎的延伸系統(tǒng)。這是“大云”目前主要的工作。我們實(shí)驗室目前有256個節(jié)點(diǎn),到12月底之前可以擴(kuò)容到1024個節(jié)點(diǎn),整個配置就不詳細(xì)說了。
下面給大家介紹一下我們在線網(wǎng)某一個省公司做了一個云計算落地的試點(diǎn),也就是說基于云計算做了一個移動用戶行為分析的實(shí)驗。實(shí)驗?zāi)繕?biāo)基于線網(wǎng)一些用戶數(shù)據(jù)和用戶的使用記錄,把用戶進(jìn)行細(xì)分。最后實(shí)驗結(jié)果非常樂觀,正確度滿足商業(yè)標(biāo)準(zhǔn),在時間性能上,總體來說比現(xiàn)有服務(wù)系統(tǒng)提高3-7倍性能,從成本上來說比現(xiàn)有解決方案降低6倍,也就是原來成本的1/6。從運(yùn)營成本,耗電和機(jī)房占地面積來說,和原來解決方案是相當(dāng)?shù)摹?/p>
云計算,可以看出它具有非常大的成本優(yōu)勢。同時為了推動云計算在產(chǎn)業(yè)鏈的成熟,以及應(yīng)用盡快的推廣,我們也積極的進(jìn)行外部交流和合作。去年11月份,中國云計算專委會在中國移動研究院第一次開會,在中國移動研究院正式成立。我們后面的工作也是在云計算專委會的指導(dǎo)之下去推進(jìn)的。此外,我們在中國移動網(wǎng)站上專門開辟云計算頻道,提供云計算技術(shù)交流平臺,同時也對一些好的技術(shù)和一些方案進(jìn)行推廣。我們積極參與中國云計算大會,在今年上半年,中國第一屆云計算大會上我們也展示了“大云”研發(fā)成果,當(dāng)時得到很多業(yè)界專家的關(guān)注。我們同時還積極參與一些標(biāo)準(zhǔn)化組織和開源社區(qū)的活動。今年我們主要參與的是Hadoop開源社區(qū)的活動,也提交了很多bug,同時也有好多好的方案,我們有一些創(chuàng)新的解決方案提,我們也積極在推。在Hadoop參會當(dāng)中,我們也介紹數(shù)據(jù)挖掘方面的應(yīng)用試點(diǎn)的體會,也得到業(yè)界的廣泛關(guān)注。
云計算的推廣成熟并不是一帆風(fēng)順的,目前云計算還面臨很多挑戰(zhàn)。
2[/!--empirenews.page--]首先,應(yīng)用和數(shù)據(jù)安全問題,因為云計算提供這樣一個資源池,應(yīng)用模式,用戶把自己的數(shù)據(jù)托管到云端,也就是交給運(yùn)營商或者云計算的業(yè)務(wù)提供商,這個時候怎么保證用戶的數(shù)據(jù)是安全的,用戶的隱私是得到保護(hù)的?這個目前在云計算產(chǎn)業(yè)里面,大家討論的非常熱烈。
其次,誤操作和標(biāo)準(zhǔn)化的問題。一個產(chǎn)業(yè)真正做到成熟的話,必須要有一個很好的價值鏈,有一個比較明確的分工。目前前面可以看到云計算產(chǎn)業(yè)還是戰(zhàn)國紛爭的狀態(tài),我們也在積極推動云計算標(biāo)準(zhǔn)化的成熟,明年我們會參加OGF等等這樣一些標(biāo)準(zhǔn)化組織,去推進(jìn)云計算標(biāo)準(zhǔn)化工作。當(dāng)然我們覺得在云計算里面,開源是一個不可忽視的力量,我們有一些開源組織也會在里面作出我們的貢獻(xiàn)。
其三,要求管理模式發(fā)生相應(yīng)的變化。我們都知道在傳統(tǒng)運(yùn)營商建設(shè)網(wǎng)絡(luò)過程當(dāng)中,一般來說設(shè)備制造商是交鑰匙的方式,也就是說設(shè)備制造商去采購硬件和數(shù)據(jù)庫等等商業(yè)軟件,在上面開發(fā)應(yīng)用,把這些應(yīng)用跟下面軟硬件平臺進(jìn)行集成,然后一攬子交給運(yùn)營商。對于運(yùn)營商來說,這是一個黑盒子。但是在云計算時代,這種方式是不可操作的,因為云計算的關(guān)鍵就是要求下面這些計算網(wǎng)絡(luò)和存儲資源要集中化,要統(tǒng)一化。
其四,從服務(wù)質(zhì)量來說,云計算這個技術(shù)比較新,有很多不成熟的地方,我們也可以看到像亞馬遜、GOOGLE等等這些公司的平臺都發(fā)生過一些事件,怎么把平臺做到穩(wěn)定可靠,是我們提供商業(yè)云服務(wù)的關(guān)鍵。
以上問題希望能跟業(yè)界專家進(jìn)行探討。謝謝大家!