大數(shù)據(jù)的發(fā)展和產(chǎn)業(yè)機遇

進(jìn)入21世紀(jì)以來，物聯(lián)網(wǎng)、電子商務(wù)、社會化網(wǎng)絡(luò)的快速發(fā)展正帶來數(shù)據(jù)的飛速增長。2008年9月，《自然》雜志發(fā)表“Bigdata”專題文章，首次提出大數(shù)據(jù)名詞。2009年,聯(lián)合國提出“數(shù)據(jù)脈動”，并發(fā)布《聯(lián)合國“全球脈動”計劃一大數(shù)據(jù)發(fā)展帶來的機遇與挑戰(zhàn)》報告。2011年，《科學(xué)》雜志推出大數(shù)據(jù)?？?，IBM公司和麥肯錫公司分別發(fā)布大數(shù)據(jù)調(diào)研報告，指出了大數(shù)據(jù)研究的地位以及將給社會帶來的價值。2012年3月，美國奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研發(fā)計劃”。

在國內(nèi),2009年開始掀起的物聯(lián)網(wǎng)浪潮，經(jīng)過3年多發(fā)展，已在交通、能源、安防、環(huán)保、農(nóng)業(yè)等領(lǐng)域取得了初步的成效，現(xiàn)在急需的是加強數(shù)據(jù)的分析與挖掘，提高智能處理能力,從而提升物聯(lián)網(wǎng)應(yīng)用的價值，促進(jìn)規(guī)模推廣。大數(shù)據(jù)已成為時代發(fā)展的需要。2012年9月，中國計算機學(xué)會和中國通信學(xué)會分別增設(shè)了大數(shù)據(jù)專家委員會。2013年，大數(shù)據(jù)已成為國內(nèi)IT產(chǎn)業(yè)曝光率最高的詞匯之一。

本文首先介紹大數(shù)據(jù)概念，并從背景和內(nèi)因來解讀大數(shù)據(jù)的發(fā)展，然后重點分析大數(shù)據(jù)產(chǎn)業(yè)的戰(zhàn)略意義和發(fā)展機遇,最后進(jìn)行總結(jié)。

1大數(shù)據(jù)的概念和發(fā)展

1.1大數(shù)據(jù)的含義

大數(shù)據(jù)的定義，目前國內(nèi)引用最多的是來自維基百科的描述:“大數(shù)據(jù)是由于規(guī)模、復(fù)雜性、實時而導(dǎo)致的使之無法在一定時間內(nèi)用常規(guī)軟件工具對其進(jìn)行獲取、存儲、搜索、分享、分析、可視化的數(shù)據(jù)集合?！本唧w而言，大數(shù)據(jù)具備如下“4V”特征［3-4］:

海量(Volume)：全球數(shù)據(jù)已進(jìn)入“澤”時代。據(jù)IDC的研究，2012年全球信息化資料量為2.8ZB，預(yù)計2015年將達(dá)到8.6ZB，2020年將達(dá)到40ZB。

多樣(Variety):大數(shù)據(jù)類型繁多,可分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。在2012年，非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的占有比例已超過整個數(shù)據(jù)量的85%,且非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)的增長速率大于結(jié)構(gòu)化數(shù)據(jù)。

快速(Velocity):大數(shù)據(jù)往往以數(shù)據(jù)流的形式動態(tài)、快速地產(chǎn)生，具有很強的時效性。只有做好數(shù)據(jù)流的掌控，才能有效利用這些數(shù)據(jù)。另外，數(shù)據(jù)自身的狀態(tài)與價值也往往隨時空變化而發(fā)生演變，數(shù)據(jù)的涌現(xiàn)特征明顯。

(4)價值(Value):數(shù)據(jù)已經(jīng)成為一類新型資產(chǎn)，蘊藏有大價值。不過，大數(shù)據(jù)的價值密度很低，需要通過專業(yè)的技術(shù)手段進(jìn)行挖掘。

1.2大數(shù)據(jù)發(fā)展的背景

大數(shù)據(jù)的出現(xiàn)，首先以IT新技術(shù)的發(fā)展為先導(dǎo)條件。20世紀(jì)里，二制碼、模數(shù)轉(zhuǎn)化和電子技術(shù)的出現(xiàn)，使得數(shù)據(jù)走向數(shù)字化。90年代全球最暢銷書籍之一《數(shù)字化生存》的主題就是“從原子到比特”90年代末期到21世紀(jì)初，互聯(lián)網(wǎng)和移動通信網(wǎng)飛速發(fā)展，信息傳輸與分享的能力大大提升，信息采集與存儲的成本不斷降低，傳感、計算、網(wǎng)絡(luò)、存儲等IT領(lǐng)域的諸多技術(shù)進(jìn)步使得大數(shù)據(jù)成為可能。

大數(shù)據(jù)的發(fā)展，主要以人、機、物三元世界走向融合為直接動因。物聯(lián)網(wǎng)的發(fā)展正是人、機、物三元世界走向深入融合的表象，它引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長和數(shù)據(jù)模式的高度復(fù)雜化，世界已進(jìn)入網(wǎng)絡(luò)化的大數(shù)據(jù)時代。其一，物聯(lián)網(wǎng)的蓬勃發(fā)展是大數(shù)據(jù)的主要推動力，各個城市的視頻監(jiān)控每時每刻都在采集巨量的流媒體數(shù)據(jù)。工業(yè)設(shè)備的監(jiān)控也是大數(shù)據(jù)的重要來源。例如，勞斯萊斯公司對全世界數(shù)以萬計的飛機引擎進(jìn)行實時監(jiān)控，每年傳送PB數(shù)量級的數(shù)據(jù)。其二，個人活動、企業(yè)的生產(chǎn)經(jīng)營近年來造成數(shù)據(jù)量的飆升。據(jù)2011年的統(tǒng)計數(shù)字，一分鐘內(nèi)，微博、推特上新發(fā)布的數(shù)據(jù)量超過10萬，臉譜的瀏覽量超過600萬；兩分鐘內(nèi)，全球上傳的照片數(shù)量超過19世紀(jì)照片數(shù)量總和。其三，以數(shù)據(jù)為中心的傳統(tǒng)學(xué)科隨著技術(shù)進(jìn)步正以更快的速率生產(chǎn)出越來越多的數(shù)據(jù)。例如，目前天文觀測獲取信息量的速率至少在1015b/周的數(shù)量級，用于物理研究的高能粒子加速器具有109張圖片/秒的信息量，分子生物學(xué)中DNA、蛋白質(zhì)分子長鏈的刻畫同樣需要大數(shù)據(jù)的支持。據(jù)統(tǒng)計，2011年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量遠(yuǎn)遠(yuǎn)超過人類有史以來所有印刷材料的數(shù)據(jù)總量。

1.3大數(shù)據(jù)發(fā)展的內(nèi)因

數(shù)據(jù)(data)在拉丁文里是“已知”的意思。它代表著對某事物、某事件的描述，可以記錄、分析和重組它。在人類社會發(fā)展的歷史長河中，人們主要依靠抽樣數(shù)據(jù)、局部數(shù)據(jù)或片面的數(shù)據(jù)，甚至在無法獲得實證數(shù)據(jù)的時候純粹依賴經(jīng)驗、假設(shè)與推理去發(fā)現(xiàn)未知領(lǐng)域的規(guī)律。因此，人類對問題的認(rèn)識往往是表面的、片面的、扭曲的。大數(shù)據(jù)的出現(xiàn)，使得人類第一次有機會和條件，在眾多的領(lǐng)域能使用全面、完整和系統(tǒng)的數(shù)據(jù)，深入探索未知的規(guī)律，獲取過去難以得到的知識,發(fā)現(xiàn)過去無法企及的商機?？梢哉f，人類測量、記錄和分析世界的渴望是大數(shù)據(jù)發(fā)展的核心內(nèi)因。

2大數(shù)據(jù)產(chǎn)業(yè)的戰(zhàn)略性地位

2.1關(guān)系到國家核心利益的戰(zhàn)略資源

大數(shù)據(jù)是與自然資源、人力資源一樣重要的戰(zhàn)略資源,是一個國家數(shù)字主權(quán)的體現(xiàn)。大數(shù)據(jù)時代，國家層面的競爭力將部分體現(xiàn)為一國擁有大數(shù)據(jù)的規(guī)模、活性以及對數(shù)據(jù)的解釋、運用的能力。一個國家在網(wǎng)絡(luò)空間的數(shù)據(jù)主權(quán)將是繼海、陸、空、天之后另一個大國博弈的空間。在大數(shù)據(jù)領(lǐng)域的落后,意味著失守產(chǎn)業(yè)戰(zhàn)略制高點，意味著數(shù)字主權(quán)無險可守，意味著國家安全將出現(xiàn)漏洞。因此，大數(shù)據(jù)是屬于關(guān)系到國家核心利益的戰(zhàn)略資源。我國應(yīng)盡快研究并制定我們國家的大數(shù)據(jù)戰(zhàn)略。

2.2引發(fā)知識與技術(shù)創(chuàng)新模式的變革

大數(shù)據(jù)促使科技界對科學(xué)研究方法論進(jìn)行重新審視，正在引發(fā)科學(xué)研究思維與方法的一場革命［%傳統(tǒng)的科學(xué)研究模式是，先提出“公理”然后推理得出“定理”，先提出“猜想”然后證明得出“定律”，遵循著尋找因果關(guān)系的路徑。然而，傳統(tǒng)模式中認(rèn)知世界的數(shù)據(jù)基于采樣而得，使得理論分析的成果帶有其時代的局限性，而且理論分析方法在許多問題上過于復(fù)雜，難以解決實際問題，人們開始尋求模擬的方法,導(dǎo)致計算科學(xué)的興起。海量數(shù)據(jù)的出現(xiàn)催生了一種新的科研模式，即面對海量數(shù)據(jù)，科研人員無需再去追問事物之間的因果關(guān)系，只需從數(shù)據(jù)中直接查找或挖掘事物之間的相互關(guān)系，這會給我們提供非常新穎且有價值的觀點。相互關(guān)系也許不能準(zhǔn)確地告訴我們某件事情為何會發(fā)生，但它能告訴我們這件事情正在發(fā)生或即將發(fā)生。這個價值已足夠大，因為在大數(shù)據(jù)的幫助下，只要改變思維模式，我們可以用更低的成本、更快的速率實現(xiàn)知識創(chuàng)新和技術(shù)創(chuàng)新。

2.3促進(jìn)新老產(chǎn)業(yè)裂變與升華的動因

數(shù)據(jù)為王的大數(shù)據(jù)時代已到來，產(chǎn)業(yè)界的需求與關(guān)注點發(fā)生了重大轉(zhuǎn)變：企業(yè)關(guān)注的重點轉(zhuǎn)向數(shù)據(jù)，計算機行業(yè)正在轉(zhuǎn)變?yōu)檎嬲男畔⑿袠I(yè)，從追求計算速度轉(zhuǎn)變?yōu)殛P(guān)注大數(shù)據(jù)處理能力，軟件也將從以編程為主轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心。大數(shù)據(jù)處理的興起也改變了云計算的發(fā)展方向，使其進(jìn)入以分析即服務(wù)(AaaS)為主要標(biāo)志的Cloud2.0時代［3］。采用大數(shù)據(jù)處理方法，生物制藥、新材料研制生產(chǎn)的流程會發(fā)生革命性的變化，可以通過數(shù)據(jù)處理能力極高的計算機進(jìn)行并行處理，同時進(jìn)行大批量的仿真比較和篩選，大大提高科研和生產(chǎn)效率。

大數(shù)據(jù)不僅是傳統(tǒng)產(chǎn)業(yè)升級的助推器，也是新興產(chǎn)業(yè)孕育的催化劑。數(shù)據(jù)已成為與礦物和化學(xué)元素一樣的原始材料,未來可能形成數(shù)據(jù)服務(wù)、數(shù)據(jù)探礦、數(shù)據(jù)化學(xué)、數(shù)據(jù)材料、數(shù)據(jù)制藥等一系列戰(zhàn)略性的新興產(chǎn)業(yè)。

3為信息產(chǎn)業(yè)帶來發(fā)展機遇

大數(shù)據(jù)給我國的信息產(chǎn)業(yè)帶來了巨大的發(fā)展機遇，主要體現(xiàn)在如下四個方面：

3.1巨大的市場需求

一是軟件需要更新。物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的迅速發(fā)展，使數(shù)據(jù)產(chǎn)生加快、規(guī)模加大，迫切需要運用大數(shù)據(jù)手段進(jìn)行分析處理，快速提煉其中的有效信息。面對爆發(fā)式增長的海量數(shù)據(jù)，基于傳統(tǒng)架構(gòu)的信息系統(tǒng)已難以應(yīng)對，同時傳統(tǒng)商業(yè)智能系統(tǒng)和數(shù)據(jù)分析軟件，面對大數(shù)據(jù)時也缺少有效的分析工具和方法。二是硬件需要升級。大數(shù)據(jù)面臨著有效存儲、實時分析等挑戰(zhàn)，必將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，將推動一體化數(shù)據(jù)存儲處理服務(wù)器、內(nèi)存計算等產(chǎn)品的升級創(chuàng)新。三是信息系統(tǒng)普遍面臨升級換代的迫切需求，為信息產(chǎn)業(yè)帶來新的、更為廣闊的增長點。四是大數(shù)據(jù)的應(yīng)用將加速產(chǎn)業(yè)的創(chuàng)新融合發(fā)展，面向大數(shù)據(jù)市場的新產(chǎn)品、新技術(shù)、新服務(wù)、新業(yè)態(tài)、新模式將不斷涌現(xiàn)。

3.2共性的驅(qū)動引擎

移動互聯(lián)網(wǎng)、下一代互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社會網(wǎng)絡(luò)是未來新一代信息技術(shù)應(yīng)用的具體形態(tài)，大數(shù)據(jù)的存儲、加工與分析是支撐它們的共性技術(shù)。以云計算為支撐平臺，以人、機、物的信息不斷匯集而成的大數(shù)據(jù)為核心資產(chǎn)，以位置、傳感、語義、機器學(xué)習(xí)等眾多技術(shù)的融合應(yīng)用為處理、分析、優(yōu)化手段,把計算結(jié)果交叉反饋給移動互聯(lián)網(wǎng)、下一代互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社會網(wǎng)絡(luò)等應(yīng)用中，這一過程將創(chuàng)造巨大的商業(yè)價值。大數(shù)據(jù)是該生產(chǎn)過程的核心引擎。

3.3重要性更加突顯

作為新興的生產(chǎn)力，大數(shù)據(jù)對國民經(jīng)濟(jì)眾多產(chǎn)業(yè)的生產(chǎn)關(guān)系、生產(chǎn)方式影響巨大而深遠(yuǎn)。對于傳統(tǒng)工業(yè)，采用大數(shù)據(jù)處理方法，新材料的研制、新產(chǎn)品的設(shè)計生產(chǎn)、供應(yīng)鏈的精益管理、工藝的測試改良等流程會發(fā)生革命性的變化，帶動整個行業(yè)邁入數(shù)字化與信息化的新階段。對于傳統(tǒng)農(nóng)業(yè)，大數(shù)據(jù)可在品種培育、病蟲害防治、精準(zhǔn)農(nóng)業(yè)等方面產(chǎn)生極大的作為。對于服務(wù)業(yè)，大數(shù)據(jù)已成為電子商務(wù)背后的金航可以預(yù)見，隨著大數(shù)據(jù)技術(shù)作為生產(chǎn)力在眾多行業(yè)廣泛應(yīng)用，信息產(chǎn)業(yè)在國民經(jīng)濟(jì)中的產(chǎn)業(yè)影響力系數(shù)及產(chǎn)業(yè)感應(yīng)度系數(shù)被進(jìn)一步提升，信息產(chǎn)業(yè)在國民經(jīng)濟(jì)中的重要地位愈加突出。

3.4追趕世界的機遇

大數(shù)據(jù)有望成為繼計算機、移動通信、物聯(lián)網(wǎng)之后信息產(chǎn)業(yè)的又一個至高點。在計算機產(chǎn)業(yè)，上游的芯片技術(shù)、操作系統(tǒng)等被國外企業(yè)壟斷；在移動通信產(chǎn)業(yè)，通信制式的基礎(chǔ)專利被國外企業(yè)牢牢控制；在物聯(lián)網(wǎng)產(chǎn)業(yè)，傳感器核心技術(shù)、RFID標(biāo)準(zhǔn)與芯片也受制于國外。但是，大數(shù)據(jù)產(chǎn)業(yè)遇到了一個好的時代際遇一以“分享、協(xié)作”為特征的知識生產(chǎn)新模式正在興起，眾多大數(shù)據(jù)技術(shù)研究成果走“開源”路線，這為國內(nèi)在盡量短的時間內(nèi)追趕國外先進(jìn)水平創(chuàng)造了條件。因此,中國的大數(shù)據(jù)產(chǎn)業(yè)較計算機、移動通信、物聯(lián)網(wǎng)產(chǎn)業(yè)有著更好的發(fā)展機遇，相對更容易實現(xiàn)信息產(chǎn)業(yè)的中國夢。

4結(jié)語

大數(shù)據(jù)在企業(yè)、政務(wù)、社會的應(yīng)用雖然剛開始，但已給我們這個時代帶來了巨大的沖擊力。目前，大數(shù)據(jù)產(chǎn)業(yè)已初步形成新興創(chuàng)業(yè)公司和軟件巨頭齊頭并進(jìn)，開源和閉源生態(tài)系統(tǒng)并存融合的發(fā)展格局。希望我國的信息產(chǎn)業(yè)能抓住大數(shù)據(jù)這一時代機遇，追趕世界先進(jìn)水平；希望我國工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)能利用大數(shù)據(jù)手段，加快產(chǎn)業(yè)升級，實現(xiàn)跨越發(fā)展。

20211112_618e556b80810__大數(shù)據(jù)的發(fā)展和產(chǎn)業(yè)機遇