大數(shù)據(jù)高速發(fā)展背景下，這些知識值得我們學習

在不借助大數(shù)據(jù)平臺的情況下，我們往往很難直接使用傳統(tǒng)的分析工具，比如用Excel等數(shù)據(jù)處理和分析工具來處理海量的數(shù)據(jù)，極易發(fā)生卡頓以及需要較長的響應(yīng)時間，這是由于計算機本身的計算邏輯決定的，當單臺計算機的數(shù)據(jù)吞吐量上去之后，會發(fā)現(xiàn)計算機好像停住了好久都沒反應(yīng)。

當然，性能不同的電腦，所對應(yīng)的這個處理能力上限是不相同的，但總言之，數(shù)據(jù)量的大是一種模糊的概念，并不是說一定多少數(shù)據(jù)才算大數(shù)據(jù)，而數(shù)據(jù)量的大使得我們常規(guī)的數(shù)據(jù)處理分析的工具和方法難以使用的情況，正是“大數(shù)據(jù)分析”和普通的“數(shù)據(jù)分析”之間的門檻，即實現(xiàn)技術(shù)。

作為普通人的我們，也沒啥機會能處理海量數(shù)據(jù)，一般這些都是企業(yè)級的操作，那為什么剛才我還說我們可能甚至是在使用大數(shù)據(jù)呢?可以兩個角度理解，一個角度是，我們在一些平臺上的一些使用數(shù)據(jù)，本身是經(jīng)過平臺服務(wù)器的大數(shù)據(jù)分析過的，這些加工后的數(shù)據(jù)作為平臺決策之用，但是用到了我們身上，我們是大數(shù)據(jù)分析結(jié)果的受用者;另一個角度是，我們有時候使用的一些處理平臺，比如大數(shù)據(jù)人力資源管理平臺、或者是大數(shù)據(jù)可視化平臺等等，我們現(xiàn)在是處理方，我們做了大數(shù)據(jù)處理這么個工作，但具體的實現(xiàn)過程是平臺調(diào)用了服務(wù)器上的集群資源，來一起完成這事，你可能只是一個發(fā)布指令的人。所以我們并不會感受到因為沒基礎(chǔ)而帶來的限制。

體量(Volume)。大數(shù)據(jù)由大量數(shù)據(jù)組成，從幾個TB到幾個ZB。百度資料表明，其新首頁導(dǎo)航每天需要提供的數(shù)據(jù)超過1.5PB(1PB=1024TB)，這些數(shù)據(jù)如果打印出來將超過5千億張A4紙。有資料證實，到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量僅為200PB。這些數(shù)據(jù)可能會分布在許多地方，通常是在接入因特網(wǎng)的計算網(wǎng)絡(luò)中。一般來說，凡是滿足大數(shù)據(jù)的幾個V條件的數(shù)據(jù)都會因為太大而無法被單獨的計算機處理。單單這一個問題就需要一種不同的數(shù)據(jù)處理思路，這也使得并行計算技術(shù)(例如MapReduce)得以迅速崛起。

高速(Velocity)。大數(shù)據(jù)是在運動著的，通常處于很高的傳輸速度之下。它經(jīng)常被認為是數(shù)據(jù)流，而數(shù)據(jù)流通常是很難被歸檔的(考慮到有限的網(wǎng)絡(luò)存儲空間，單單是高速就已經(jīng)是一個巨大的問題)。這就是為什么只能收集到數(shù)據(jù)其中的某些部分。如果我們有能力收集數(shù)據(jù)的全部，長時間存儲大量數(shù)據(jù)也會顯得非常昂貴，所以周期性的收集數(shù)據(jù)遺棄一部分數(shù)據(jù)以節(jié)省空間，僅保留數(shù)據(jù)摘要(如平均值和方差)。這個問題在未來會顯得更為嚴重，因為越來越多的數(shù)據(jù)正以越來越快的速度產(chǎn)生。數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲得高價值的信息，這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

大數(shù)據(jù)預(yù)處理技術(shù):大數(shù)據(jù)預(yù)處理主要完成對已接收數(shù)據(jù)的抽取、清洗等操作。

抽取:因獲取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達到快速分析處理的目的。

清洗:對于大數(shù)據(jù)，并不全是有價值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯誤的干擾項，因此要對數(shù)據(jù)通過過濾"去噪"從而提取出有效數(shù)據(jù)。

大數(shù)據(jù)存儲及管理技術(shù):大數(shù)據(jù)存儲與管理要用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，并進行管理和調(diào)用。要解決大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)葞讉€關(guān)鍵問題。

大數(shù)據(jù)分析及挖掘技術(shù):數(shù)據(jù)分析及挖掘技術(shù)是大數(shù)據(jù)的核心技術(shù)。主要是在現(xiàn)有的數(shù)據(jù)上進行基于各種預(yù)測和分析的計算，從而起到預(yù)測的效果，滿足一些高別數(shù)據(jù)分析的需求。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機實際數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識的過程。