大數(shù)據(jù)_數(shù)據(jù)挖掘技術(shù)分類及應用

　　 大數(shù)據(jù)簡介

　　大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。研究機構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。

　　最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

　　大數(shù)據(jù)特征

　　容量（Volume）：數(shù)據(jù)的大小決定所考慮的數(shù)據(jù)的價值和潛在的信息；

　　種類（Variety）：數(shù)據(jù)類型的多樣性；

　　速度（Velocity）：指獲得數(shù)據(jù)的速度；

　　可變性（Variability）：妨礙了處理和有效地管理數(shù)據(jù)的過程。

　　真實性（Veracity）：數(shù)據(jù)的質(zhì)量

　　復雜性（Complexity）：數(shù)據(jù)量巨大，來源多渠道

　　價值（value）：合理運用大數(shù)據(jù)，以低成本創(chuàng)造高價值

　　數(shù)據(jù)挖掘技術(shù)分類及應用 　　數(shù)據(jù)挖掘技術(shù)概況

　　基于Internet的全球信息系統(tǒng)的發(fā)展使我們擁有了前所未有的豐富數(shù)據(jù)。大量信息在給人們帶來方便的同時也帶來了一大堆問題：第一是信息過量，難以消化；第二是信息真假難以辨識；第三是信息安全難以保證；第四是信息形式不一致，難以統(tǒng)一處理。數(shù)據(jù)豐富、知識貧乏已經(jīng)成為一個典型問題。Data Mining（數(shù)據(jù)挖掘）的目的就是有效地從海量數(shù)據(jù)中提取出需要的答案，實現(xiàn)“數(shù)據(jù)-〉信息-〉知識-〉價值”的轉(zhuǎn)變過程。

　　（數(shù)據(jù)挖掘）是指用非平凡的方法從海量的數(shù)據(jù)中抽取出潛在的、有價值的知識（模型或規(guī)則）的過程。該術(shù)語還有其他一些同義詞：數(shù)據(jù)庫中的知識發(fā)現(xiàn) 、信息抽取 、信息發(fā)現(xiàn) 、智能數(shù)據(jù)分析 、探索式數(shù)據(jù)分析（ 、信息收獲 、數(shù)據(jù)考古 等。

　　Data Mining（數(shù)據(jù)挖掘）是數(shù)據(jù)庫研究、開發(fā)和應用最活躍的一個分支，是多學科的交叉領域，它涉及數(shù)據(jù)庫技術(shù)、人工智能、機器學習、神經(jīng)網(wǎng)絡、數(shù)學、統(tǒng)計學、模式識別、知識庫系統(tǒng)、知識獲取、信息提取、高性能計算、并行計算、數(shù)據(jù)可視化等多方面知識。

　　數(shù)據(jù)挖掘技術(shù)從一開始就是面向應用的，它不僅是面向特定數(shù)據(jù)庫的簡單檢索查詢調(diào)用，而且要對這些數(shù)據(jù)進行微觀、中觀乃至宏觀的統(tǒng)計、分析、綜合和推理，以指導實際問題的求解，企圖發(fā)現(xiàn)事件間的相互關聯(lián)，甚至利用已有的數(shù)據(jù)對未來的活動進行預測。例如加拿大BC省電話公司要求加拿大SimonFraser大學KDD研究組，根據(jù)其擁有十多年的客戶數(shù)據(jù)，總結(jié)、分析并提出新的電話收費和管理辦法，制定既有利于公司又有利于客戶的優(yōu)惠政策。這樣一來，就把人們對數(shù)據(jù)的應用，從低層次的末端查詢操作，提高到為各級經(jīng)營決策者提供決策支持。這種需求驅(qū)動力，比數(shù)據(jù)庫查詢更為強大。同時，這里所說的數(shù)據(jù)挖掘，不是要求發(fā)現(xiàn)放之四海而皆準的真理，也不是要去發(fā)現(xiàn)嶄新的自然科學定理和純數(shù)學公式，更不是什么機器定理證明。所有發(fā)現(xiàn)的知識都是相對的，是有特定前提和約束條件、面向特定領域的，同時還要能夠易于被用戶理解，最好能用自然語言表達發(fā)現(xiàn)結(jié)果。因此數(shù)據(jù)挖掘的研究成果是很講求實際的。

 

　　數(shù)據(jù)挖掘技術(shù)應用

　　數(shù)據(jù)挖掘技術(shù)可以為決策、過程控制、信息管理和查詢處理等任務提供服務，一個有趣的應用范例是“尿布與啤酒”的故事。為了分析哪些商品顧客最有可能一起購買，一家名叫 WalMart的公司利用自動數(shù)據(jù)挖掘工具，對數(shù)據(jù)庫中的大量數(shù)據(jù)進行分析后，意外發(fā)現(xiàn)，跟尿布一起購買最多的商品竟是啤酒。為什么兩件風馬牛不相及的商品會被人一起購買？原來，太太們常叮囑她們的丈夫，下班后為小孩買尿布，而丈夫們在買尿布后又隨手帶回了兩瓶啤酒。既然尿布與啤酒一起購買的機會最多，商店就將它們擺放在一起，結(jié)果，尿布與啤酒的銷售量雙雙增長。這里，數(shù)字挖掘技術(shù)功不可沒。一般來說，數(shù)據(jù)挖掘的應用有電信：流失；銀行：聚類（細分），交叉銷售；百貨公司/超市：購物籃分析（關聯(lián)規(guī)則）；保險：細分，交叉銷售，流失（原因分析）；信用卡： 欺詐探測，細分；電子商務：網(wǎng)站日志分析；稅務部門：偷漏稅行為探測；警察機關：犯罪行為分析；醫(yī)學：醫(yī)療保健。具體如下：

　　電子政務的數(shù)據(jù)挖掘

　　建立電子化政府，推動電子政務的發(fā)展，是電子信息技術(shù)應用到政府管理的必然趨勢。實踐經(jīng)驗表明，政府部門的決策越來越依賴于對數(shù)據(jù)的科學分析。發(fā)展電子政務，建立決策支持系統(tǒng)，利用電子政務綜合數(shù)據(jù)庫中存儲的大量數(shù)據(jù)，通過建立正確的決策體系和決策支持模型，可以為各級政府的決策提供科學的依據(jù)，從而提高各項政策制定的科學性和合理性，以達到提高政府辦公效率、促進經(jīng)濟發(fā)展的目的。為此，在政府決策支持方面，需要不斷

　　吸納新的信息處理技術(shù)，而數(shù)據(jù)挖掘正是實現(xiàn)政府決策支持的核心技術(shù)。以數(shù)據(jù)挖掘為依托的政府決策支持系統(tǒng)，將發(fā)揮重要的作用。

　　電子政務位于世界各國積極倡導的“信息高速公路”五個領域（電子政務、電子商務、遠程教育、遠程醫(yī)療、電子娛樂）之首，說明政府信息化是社會信息化的基礎。電子政務包括政府的信息服務、電子貿(mào)易、電子化政府、政府部門重構(gòu)、群眾參與政府五個方面的內(nèi)容。將網(wǎng)絡數(shù)據(jù)挖掘技術(shù)引入電子政務中，可以大大提高政府信息化水平，促進整個社會的信息化。具體體現(xiàn)在以下幾個方面：

　　1）政府的電子貿(mào)易 在服務器以及瀏覽器端日志記錄的數(shù)據(jù)中隱藏著模式信息，運用網(wǎng)絡用法挖掘技術(shù)可以自動發(fā)現(xiàn)系統(tǒng)的訪問模式和用戶的行為模式，從而進行預測分析。例如，通過評價用戶對某一信息資源瀏覽所花費的時間，可以判斷出用戶對何種資源感興趣;對日志文件所收集到的域名數(shù)據(jù)，根據(jù)國家或類型進行分類分析;應用聚類分析來識別用戶的訪問動機和訪問趨勢等。這項技術(shù)已經(jīng)有效地運用在政府電子貿(mào)易中。

　　2）網(wǎng)站設計 通過對網(wǎng)站內(nèi)容的挖掘，主要是對文本內(nèi)容的挖掘，可以有效地組織網(wǎng)站信息，如采用自動歸類技術(shù)實現(xiàn)網(wǎng)站信息的層次性組織;同時可以結(jié)合對用戶訪問日志記錄信息的挖掘，把握用戶的興趣，從而有助于開展網(wǎng)站信息推送服務以及個人信息的定制服務，吸引更多的用戶。

　　3）搜索引擎 網(wǎng)絡數(shù)據(jù)挖掘是目前網(wǎng)絡信息檢索發(fā)展的一個關鍵。如通過對網(wǎng)頁內(nèi)容挖掘，可以實現(xiàn)對網(wǎng)頁的聚類、分類，實現(xiàn)網(wǎng)絡信息的分類瀏覽與檢索；同時，通過對用戶所使用的提問式的歷史記錄的分析，可以有效地進行提問擴展，提高用戶的檢索效果；另外，運用網(wǎng)絡內(nèi)容挖掘技術(shù)改進關鍵詞加權(quán)算法，提高網(wǎng)絡信息的標引準確度，從而改善檢索效果。

　　4）決策支持 為政府重大政策出臺提供決策支持。如，通過對網(wǎng)絡各種經(jīng)濟資源的挖掘，確定未來經(jīng)濟的走勢，從而制定出相應的宏觀經(jīng)濟調(diào)控政策。

　　市場營銷的數(shù)據(jù)挖掘

　　數(shù)據(jù)挖掘技術(shù)在企業(yè)市場營銷中得到了比較普遍的應用，它是以市場營銷學的市場細分原理為基礎，其基本假定是“消費者過去的行為是其今后消費傾向的最好說明”。

　　通過收集、加工和處理涉及消費者消費行為的大量信息，確定特定消費群體或個體的興趣、消費習慣、消費傾向和消費需求，進而推斷出相應消費群體或個體下一步的消費行為，然后以此為基礎，對所識別出來的消費群體進行特定內(nèi)容的定向營銷，這與傳統(tǒng)的不區(qū)分消費者對象特征的大規(guī)模營銷手段相比，大大節(jié)省了營銷成本，提高了營銷效果，從而為企業(yè)帶來更多的利潤。

　　商業(yè)消費信息來自市場中的各種渠道。例如，每當我們用信用卡消費時，商業(yè)企業(yè)就可以在信用卡結(jié)算過程收集商業(yè)消費信息，記錄下我們進行消費的時間、地點、感興趣的商品或服務、愿意接收的價格水平和支付能力等數(shù)據(jù)；當我們在申辦信用卡、辦理汽車駕駛執(zhí)照、填寫商品保修單等其他需要填寫表格的場合時，我們的個人信息就存入了相應的業(yè)務數(shù)據(jù)庫；企業(yè)除了自行收集相關業(yè)務信息之外，甚至可以從其他公司或機構(gòu)購買此類信息為自己所用。

　　這些來自各種渠道的數(shù)據(jù)信息被組合，應用超級計算機、并行處理、神經(jīng)元網(wǎng)絡、模型化算法和其他信息處理技術(shù)手段進行處理，從中得到商家用于向特定消費群體或個體進行定向營銷的決策信息。這種數(shù)據(jù)信息是如何應用的呢？舉一個簡單的例子，當銀行通過對業(yè)務數(shù)據(jù)進行挖掘后，發(fā)現(xiàn)一個銀行帳戶持有者突然要求申請雙人聯(lián)合帳戶時，并且確認該消費者是第一次申請聯(lián)合帳戶，銀行會推斷該用戶可能要結(jié)婚了，它就會向該用戶定向推銷用于購買房屋、支付子女學費等長期投資業(yè)務，銀行甚至可能將該信息賣給專營婚慶商品和服務的公司。數(shù)據(jù)挖掘構(gòu)筑競爭優(yōu)勢。

　　在市場經(jīng)濟比較發(fā)達的國家和地區(qū)，許多公司都開始在原有信息系統(tǒng)的基礎上通過數(shù)據(jù)挖掘?qū)I(yè)務信息進行深加工，以構(gòu)筑自己的競爭優(yōu)勢，擴大自己的營業(yè)額。美國運通公司（American Express）有一個用于記錄信用卡業(yè)務的數(shù)據(jù)庫，數(shù)據(jù)量達到54億字符，并仍在隨著業(yè)務進展不斷更新。運通公司通過對這些數(shù)據(jù)進行挖掘，制定了“關聯(lián)結(jié)算（RelaTIon ship Billing）優(yōu)惠”的促銷策略，即如果一個顧客在一個商店用運通卡購買一套時裝，那么在同一個商店再買一雙鞋，就可以得到比較大的折扣，這樣既可以增加商店的銷售量，也可以增加運通卡在該商店的使用率。再如，居住在倫敦的持卡消費者如果最近剛剛乘英國航空公司的航班去過巴黎，那么他可能會得到一個周末前往紐約的機票打折優(yōu)惠卡。

　　基于數(shù)據(jù)挖掘的營銷，常?？梢韵蛳M者發(fā)出與其以前的消費行為相關的推銷材料?？ǚ颍↘raft）食品公司建立了一個擁有3000萬客戶資料的數(shù)據(jù)庫，數(shù)據(jù)庫是通過收集對公司發(fā)出的優(yōu)惠券等其他促銷手段作出積極反應的客戶和銷售記錄而建立起來的，卡夫公司通過數(shù)據(jù)挖掘了解特定客戶的興趣和口味，并以此為基礎向他們發(fā)送特定產(chǎn)品的優(yōu)惠券，并為他們推薦符合客戶口味和健康狀況的卡夫產(chǎn)品食譜。美國的讀者文摘（Reader‘s Digest）出版公司運行著一個積累了40年的業(yè)務數(shù)據(jù)庫，其中容納有遍布全球的一億多個訂戶的資料，數(shù)據(jù)庫每天24小時連續(xù)運行，保證數(shù)據(jù)不斷得到實時的更新，正是基于對客戶資料數(shù)據(jù)庫進行數(shù)據(jù)挖掘的優(yōu)勢，使讀者文摘出版公司能夠從通俗雜志擴展到專業(yè)雜志、書刊和聲像制品的出版和發(fā)行業(yè)務，極大地擴展了自己的業(yè)務。

　　基于數(shù)據(jù)挖掘的營銷對我國當前的市場競爭中也很具有啟發(fā)意義，我們經(jīng)?？梢钥吹椒比A商業(yè)街上一些廠商對來往行人不分對象地散發(fā)大量商品宣傳廣告，其結(jié)果是不需要的人隨手丟棄資料，而需要的人并不一定能夠得到。如果搞家電維修服務的公司向在商店中剛剛購買家電的消費者郵寄維修服務廣告，賣特效藥品的廠商向醫(yī)院特定門診就醫(yī)的病人郵寄廣告，肯定會比漫無目的的營銷效果要好得多。

　　零售業(yè)中的數(shù)據(jù)挖掘

　　通過條形碼、編碼系統(tǒng)、銷售管理系統(tǒng)、客戶資料管理及其它業(yè)務數(shù)據(jù)中，可以收集到關于商品銷售、客戶信息、貨存單位及店鋪信息等的信息資料。數(shù)據(jù)從各種應用系統(tǒng)中采集，經(jīng)條件分類，放到數(shù)據(jù)倉庫里，允許高級管理人員、分析人員、采購人員、市場人員和廣告客戶訪問，利用DM工具對這些數(shù)據(jù)進行分析，為他們提供高效的科學決策工具。如對商品進行購物籃分析，分析那些商品顧客最有希望一起購買。如被業(yè)界和商界傳誦的經(jīng)典----Wal-Mart的 “啤酒和尿布”，就是數(shù)據(jù)挖掘透過數(shù)據(jù)找出人與物間規(guī)律的典型。在零售業(yè)應用領域，利用DW、DM會在很多方面有卓越表現(xiàn)：

　　1． 了解銷售全局：通過分類信息——按商品種類、銷售數(shù)量、商店地點、價格和日期等了解每天的運營和財政情況，對銷售的每一點增長、庫存的變化以及通過促銷而提高的銷售額都可了如指掌。零售商店在銷售商品時，隨時檢查商品結(jié)構(gòu)是否合理十分重要，如每類商品的經(jīng)營比例是否大體相當。調(diào)整商品結(jié)構(gòu)時需考慮季節(jié)變化導致的需求變化、同行競爭對手的商品結(jié)構(gòu)調(diào)整等因素。

　　2． 商品分組布局：分析顧客的購買習慣，考慮購買者在商店里所穿行的路線、購買時間和地點、掌握不同商品一起購買的概率；通過對商品銷售品種的活躍性分析和關聯(lián)性分析，用主成分分析方法，建立商品設置的最佳結(jié)構(gòu)和商品的最佳布局。

　　3． 降低庫存成本：通過數(shù)據(jù)挖掘系統(tǒng)，將銷售數(shù)據(jù)和庫存數(shù)據(jù)集中起來，通過數(shù)據(jù)分析，以決定對各個商品各色貨物進行增減，確保正確的庫存。數(shù)據(jù)倉庫系統(tǒng)還可以將庫存信息和商品銷售預測信息，通過電子數(shù)據(jù)交換（EDI）直接送到供應商那里，這樣省去商業(yè)中介，而且由供應商負責定期補充庫存，零售商可減少自身負擔。

　　4． 市場和趨勢分析：利用數(shù)據(jù)挖掘工具和統(tǒng)計模型對數(shù)據(jù)倉庫的數(shù)據(jù)仔細研究，以分析顧客的購買習慣、廣告成功率和其它戰(zhàn)略性信息。利用數(shù)據(jù)倉庫通過檢索數(shù)據(jù)庫中近年來的銷售數(shù)據(jù)，作分析和數(shù)據(jù)挖掘，可預測出季節(jié)性、月銷售量，對商品品種和庫存的趨勢進行分析。還可確定降價商品，并對數(shù)量和運作作出決策。

　　有效的商品促銷：可以通過對一種廠家商品在各連鎖店的市場共享分析，客戶統(tǒng)計以及歷史狀況的分析，來確定銷售和廣告業(yè)務的有效性。通過對顧客購買偏好的分析，確定商品促銷的目標客戶，以此來設計各種商品促銷的方案，并通過商品購買關聯(lián)分析的結(jié)果，采用交叉銷售和向上銷售的方法，挖掘客戶的購買力，實現(xiàn)準確的商品促銷。

　　銀行業(yè)的數(shù)據(jù)挖掘

　　金融事務需要搜集和處理大量的數(shù)據(jù)，由于銀行在金融領域的地位、工作性質(zhì)、業(yè)務特點以及激烈的市場競爭決定了它對信息化、電子化比其它領域有更迫切的要求。利用數(shù)據(jù)挖掘技術(shù)可以幫助銀行產(chǎn)品開發(fā)部門描述客戶以往的需求趨勢，并預測未來。美國商業(yè)銀行是發(fā)達國家商業(yè)銀行的典范，許多地方值得我國學習和借鑒。

　　數(shù)據(jù)挖掘技術(shù)在美國銀行金融領域應用廣泛。金融事務需要搜集和處理大量數(shù)據(jù)，對這些數(shù)據(jù)進行分析，發(fā)現(xiàn)其數(shù)據(jù)模式及特征，然后可能發(fā)現(xiàn)某個客戶、消費群體或組織的金融和商業(yè)興趣，并可觀察金融市場的變化趨勢。商業(yè)銀行業(yè)務的利潤和風險是共存的。為了保證最大的利潤和最小的風險，必須對帳戶進行科學的分析和歸類，并進行信用評估。Mellon銀行使用數(shù)據(jù)挖掘軟件提高銷售和定價金融產(chǎn)品的精確度，如家庭普通貸款。零售信貸客戶主要有兩類，一類很少使用信貸限額（低循環(huán)者），另一類能夠保持較高的未清余額（高循環(huán)者）。每一類都代表著銷售的挑戰(zhàn)。低循環(huán)者代表缺省和支出注銷費用的危險性較低，但會帶來極少的凈收入或負收入，因為他們的服務費用幾乎與高循環(huán)者的相同。銀行常常為他們提供項目，鼓勵他們更多地使用信貸限額或找到交叉銷售高利潤產(chǎn)品的機會。高循環(huán)者由高和中等危險元件構(gòu)成。高危險分段具有支付缺省和注銷費用的潛力。對于中等危險分段，銷售項目的重點是留住可獲利的客戶并爭取能帶來相同利潤的新客戶。但根據(jù)新觀點，用戶的行為會隨時間而變化。分析客戶整個生命周期的費用和收入就可以看出誰是最具創(chuàng)利潛能的。

　　Mellon銀行認為“根據(jù)市場的某一部分進行定制”能夠發(fā)現(xiàn)最終用戶并將市場定位于這些用戶。但是，要這么做就必須了解關于最終用戶特點的信息。數(shù)據(jù)挖掘工具為Mellon銀行提供了獲取此類信息的途徑。Mellon銀行銷售部在先期數(shù)據(jù)挖掘項目上使用Intelligence Agent尋找信息，主要目的是確定現(xiàn)有Mellon用戶購買特定附加產(chǎn)品：家庭普通信貸限額的傾向，利用該工具可生成用于檢測的模型。據(jù)銀行官員稱：數(shù)據(jù)挖掘可幫助用戶增強其商業(yè)智能，如交往、分類或回歸分析，依賴這些能力，可對那些有較高傾向購買銀行產(chǎn)品、服務產(chǎn)品和服務的客戶進行有目的的推銷。該官員認為，該軟件可反饋用于分析和決策的高質(zhì)量信息，然后將信息輸入產(chǎn)品的算法。數(shù)據(jù)挖掘還有可定制能力。

　　美國Firstar銀行使用數(shù)據(jù)挖掘工具，根據(jù)客戶的消費模式預測何時為客戶提供何種產(chǎn)品。Firstar銀行市場調(diào)查和數(shù)據(jù)庫營銷部經(jīng)理發(fā)現(xiàn)：公共數(shù)據(jù)庫中存儲著關于每位消費者的大量信息，關鍵是要透徹分析消費者投入到新產(chǎn)品中的原因，在數(shù)據(jù)庫中找到一種模式，從而能夠為每種新產(chǎn)品找到最合適的消費者。數(shù)據(jù)挖掘系統(tǒng)能讀取800到1000個變量并且給它們賦值，根據(jù)消費者是否有家庭財產(chǎn)貸款、賒帳卡、存款證或其它儲蓄、投資產(chǎn)品，將它們分成若干組，然后使用數(shù)據(jù)挖掘工具預測何時向每位消費者提供哪種產(chǎn)品。預測準客戶的需要是美國商業(yè)銀行的競爭優(yōu)勢。