機(jī)器學(xué)習(xí)與人工智能、深度學(xué)習(xí)的關(guān)系

人工智能(Artificial Intelligence，縮寫(xiě)為AI)是對(duì)人的意識(shí)、思維過(guò)程進(jìn)行模擬的一門(mén)新學(xué)科。如今，人工智能從虛無(wú)縹緲的科學(xué)幻想變成了現(xiàn)實(shí)。計(jì)算機(jī)科學(xué)家們?cè)谌斯ぶ悄艿募夹g(shù)核心--機(jī)器學(xué)習(xí)(Machine Learning)和深度學(xué)習(xí)(Deep Learning)領(lǐng)域上已經(jīng)取得重大的突破，機(jī)器被賦予強(qiáng)大的認(rèn)知和預(yù)測(cè)能力?；仡櫄v史，在1997年，IBM深藍(lán)戰(zhàn)勝?lài)?guó)際象棋冠軍卡斯帕羅夫;在2011年，具備機(jī)器學(xué)習(xí)能力的IBM Waston參加綜藝節(jié)目贏得100萬(wàn)美金;在2016年，利用深度學(xué)習(xí)訓(xùn)練的Aplphago成功擊敗人類(lèi)世界冠軍。種種事件表明機(jī)器也可以像人類(lèi)一樣思考，甚至比人類(lèi)做得更好。

目前，人工智能在金融、醫(yī)療、制造等行業(yè)得到了廣泛應(yīng)用。其中，機(jī)器學(xué)習(xí)是人工智能技術(shù)發(fā)展的主要方向。

一、機(jī)器學(xué)習(xí)與人工智能、深度學(xué)習(xí)的關(guān)系

在介紹機(jī)器學(xué)習(xí)之前，先需要對(duì)人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者之間的關(guān)系進(jìn)行梳理。目前業(yè)界最常見(jiàn)的劃分是：

人工智能

是使用與傳統(tǒng)計(jì)算機(jī)系統(tǒng)完全不同的工作模式，它可以依據(jù)通用的學(xué)習(xí)策略，讀取海量的大數(shù)據(jù)，并從中發(fā)現(xiàn)規(guī)律、聯(lián)系和洞見(jiàn)，因此人工智能能夠根據(jù)新數(shù)據(jù)自動(dòng)調(diào)整，而無(wú)需重設(shè)程序。

機(jī)器學(xué)習(xí)

是人工智能研究的核心技術(shù)，在大數(shù)據(jù)的支撐下，通過(guò)各種算法讓機(jī)器對(duì)數(shù)據(jù)進(jìn)行深層次的統(tǒng)計(jì)分析以進(jìn)行自學(xué);利用機(jī)器學(xué)習(xí)，人工智能系統(tǒng)獲得了歸納推理和決策能力;而深度學(xué)習(xí)更將這一能力推向了更高的層次。

深度學(xué)習(xí)

是機(jī)器學(xué)習(xí)算法的一種，隸屬于人工神經(jīng)網(wǎng)絡(luò)體系，現(xiàn)在很多應(yīng)用領(lǐng)域中性能最佳的機(jī)器學(xué)習(xí)都是基于模仿人類(lèi)大腦結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)而來(lái)的，這些計(jì)算機(jī)系統(tǒng)能夠完全自主地學(xué)習(xí)、發(fā)現(xiàn)并應(yīng)用規(guī)則。相比較其他方法，在解決更復(fù)雜的問(wèn)題上表現(xiàn)更優(yōu)異，深度學(xué)習(xí)是可以幫助機(jī)器實(shí)現(xiàn)獨(dú)立思考的一種方式。

總而言之，人工智能是社會(huì)發(fā)展的重要推動(dòng)力，而機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)技術(shù)就是人工智能發(fā)展的核心，它們?nèi)咧g是包含與被包含的關(guān)系。如下圖：

二、機(jī)器學(xué)習(xí)：實(shí)現(xiàn)人工智能的高效方法

從廣義上來(lái)說(shuō)，機(jī)器學(xué)習(xí)是一種能夠賦予機(jī)器學(xué)習(xí)的能力，以此讓它完成直接編程無(wú)法完成的功能的方法。但從實(shí)踐的意義上來(lái)說(shuō)，機(jī)器學(xué)習(xí)是通過(guò)經(jīng)驗(yàn)或數(shù)據(jù)來(lái)改進(jìn)算法的研究，通過(guò)算法讓機(jī)器從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，得到某種模式并利用此模型預(yù)測(cè)未來(lái)，機(jī)器在學(xué)習(xí)的過(guò)程中，處理的數(shù)據(jù)越多，預(yù)測(cè)結(jié)果就越精準(zhǔn)。

機(jī)器學(xué)習(xí)在人工智能的研究中具有十分重要的地位。它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑，其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域。從20世紀(jì)50年代人們就開(kāi)始了對(duì)機(jī)器學(xué)習(xí)的研究，從最初的基于神經(jīng)元模型以及函數(shù)逼近論的方法研究，到以符號(hào)演算為基礎(chǔ)的規(guī)則學(xué)習(xí)和決策樹(shù)學(xué)習(xí)的產(chǎn)生，以及之后的認(rèn)知心理學(xué)中歸納、解釋、類(lèi)比等概念的引入，至最新的計(jì)算學(xué)習(xí)理論和統(tǒng)計(jì)學(xué)習(xí)的興起，機(jī)器學(xué)習(xí)一直都在相關(guān)學(xué)科的實(shí)踐應(yīng)用中起著主導(dǎo)作用?，F(xiàn)在已取得了不少成就，并分化出許多研究方向，主要有符號(hào)學(xué)習(xí)、連接學(xué)習(xí)和統(tǒng)計(jì)學(xué)習(xí)等。

1.機(jī)器學(xué)習(xí)的結(jié)構(gòu)模型

機(jī)器學(xué)習(xí)的本質(zhì)就是算法，算法是用于解決問(wèn)題的一系列指令。程序員開(kāi)發(fā)的用于指導(dǎo)計(jì)算機(jī)進(jìn)行新任務(wù)的算法是我們今天看到的先進(jìn)數(shù)字世界的基礎(chǔ)。計(jì)算機(jī)算法根據(jù)某些指令和規(guī)則，將大量數(shù)據(jù)組織到信息和服務(wù)中。機(jī)器學(xué)習(xí)向計(jì)算機(jī)發(fā)出指令，允許計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)，而不需要程序員做出新的分步指令。

機(jī)器學(xué)習(xí)的基本過(guò)程是給學(xué)習(xí)算法提供訓(xùn)練數(shù)據(jù)。然后，學(xué)習(xí)算法基于數(shù)據(jù)的推論生成一組新的規(guī)則。這本質(zhì)上就是生成一種新的算法，稱(chēng)之為機(jī)器學(xué)習(xí)模型。通過(guò)使用不同的訓(xùn)練數(shù)據(jù)，相同的學(xué)習(xí)算法可以生成不同的模型。從數(shù)據(jù)中推理出新的指令是機(jī)器學(xué)習(xí)的核心優(yōu)勢(shì)。它還突出了數(shù)據(jù)的關(guān)鍵作用：用于訓(xùn)練算法的可用數(shù)據(jù)越多，算法學(xué)習(xí)到的就越多。事實(shí)上，AI 的許多最新進(jìn)展并不是由于學(xué)習(xí)算法的激進(jìn)創(chuàng)新，而是現(xiàn)在積累了大量的可用數(shù)據(jù)。

2.機(jī)器學(xué)習(xí)的工作流程

Step1選擇數(shù)據(jù)

首先將原始數(shù)據(jù)分成三組：訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù);

Step2數(shù)據(jù)建模

再使用訓(xùn)練數(shù)據(jù)來(lái)構(gòu)建使用相關(guān)特征的模型;

Step3驗(yàn)證模型

使用驗(yàn)證數(shù)據(jù)輸入到已經(jīng)構(gòu)建的數(shù)據(jù)模型中;

Step4測(cè)試模型

使用測(cè)試數(shù)據(jù)檢查被驗(yàn)證的模型的性能表現(xiàn);

Step5使用模型

使用完全訓(xùn)練好的模型在新數(shù)據(jù)上做預(yù)測(cè);

Step6選擇數(shù)據(jù)

使用更多數(shù)據(jù)、不同的特征或調(diào)整過(guò)的參數(shù)來(lái)提升算法的性能表現(xiàn)。

3.機(jī)器學(xué)習(xí)發(fā)展的關(guān)鍵基石

海量數(shù)據(jù)

人工智能的能量來(lái)源是穩(wěn)定的數(shù)據(jù)流。機(jī)器學(xué)習(xí)只有通過(guò)海量數(shù)據(jù)來(lái)訓(xùn)練自己，才能開(kāi)發(fā)新規(guī)則來(lái)完成日益復(fù)雜的任務(wù)。目前我們時(shí)刻都在產(chǎn)生大量的數(shù)據(jù)，而數(shù)據(jù)存儲(chǔ)成本的降低，使得這些數(shù)據(jù)易于被使用。

超強(qiáng)計(jì)算

強(qiáng)大的計(jì)算機(jī)和通過(guò)互聯(lián)網(wǎng)連接遠(yuǎn)程處理能力使可以處理海量數(shù)據(jù)的機(jī)器學(xué)習(xí)技術(shù)成為可能。ALPHGO之所以能在與對(duì)李世石的對(duì)決中取得歷史性的勝利，這與它硬件配置的1920個(gè)CPU和280個(gè)GPU超強(qiáng)運(yùn)算系統(tǒng)密不可分，可見(jiàn)計(jì)算能力對(duì)于機(jī)器學(xué)習(xí)是至關(guān)重要的。

優(yōu)秀算法

在機(jī)器學(xué)習(xí)中，學(xué)習(xí)算法(learning algorithms)創(chuàng)建了規(guī)則，允許計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)，從而推論出新的指令(算法模型)，這也是機(jī)器學(xué)習(xí)的核心優(yōu)勢(shì)。新的機(jī)器學(xué)習(xí)技術(shù)，特別是分層神經(jīng)網(wǎng)絡(luò)，也被稱(chēng)為深度學(xué)習(xí)，啟發(fā)了新的服務(wù)，刺激了對(duì)人工智能這一領(lǐng)域其他方面的投資和研究。

4.機(jī)器學(xué)習(xí)的算法分類(lèi)

機(jī)器學(xué)習(xí)基于學(xué)習(xí)形式的不同通常可分為三類(lèi)：

監(jiān)督學(xué)習(xí)(Supervised Learning)

給學(xué)習(xí)算法提供標(biāo)記的數(shù)據(jù)和所需的輸出，對(duì)于每一個(gè)輸入，學(xué)習(xí)者都被提供了一個(gè)回應(yīng)的目標(biāo)。監(jiān)督學(xué)習(xí)主要被應(yīng)用于快速高效地教熟AI現(xiàn)有的知識(shí)，被用于解決分類(lèi)和回歸的問(wèn)題。常見(jiàn)的算法有決策樹(shù)(Decision Trees)、Adaboost算法、人工神經(jīng)網(wǎng)絡(luò)(ArTIficial Neural Network-ANN)算法、SVM(Support Vector Machine)算法等。

無(wú)監(jiān)督學(xué)習(xí)(Unsupervised Learning)

給學(xué)習(xí)算法提供的數(shù)據(jù)是未標(biāo)記的，并且要求算法識(shí)別輸入數(shù)據(jù)中的模式，主要是建立一個(gè)模型，用其試著對(duì)輸入的數(shù)據(jù)進(jìn)行解釋?zhuān)⒂糜谙麓屋斎搿，F(xiàn)實(shí)情況下往往很多數(shù)據(jù)集都有大量的未標(biāo)記樣本，有標(biāo)記的樣本反而比較少。如果直接棄用，很大程度上會(huì)導(dǎo)致模型精度低。這種情況解決的思路往往是結(jié)合有標(biāo)記的樣本，通過(guò)估計(jì)的方法把未標(biāo)記樣本變?yōu)閭蔚挠袠?biāo)記樣本，所以無(wú)監(jiān)督學(xué)習(xí)比監(jiān)督學(xué)習(xí)更難掌握。主要用于解決聚類(lèi)和降維問(wèn)題，常見(jiàn)的算法有聚類(lèi)算法、K-means算法、Expectation Maximisation(EM)算法、Affinity Propagation聚類(lèi)算法、層次聚類(lèi)算法等。

強(qiáng)化學(xué)習(xí)(Reinforcement Learning)

該算法與動(dòng)態(tài)環(huán)境相互作用，把環(huán)境的反饋?zhàn)鳛檩斎耄ㄟ^(guò)學(xué)習(xí)選擇能達(dá)到其目標(biāo)的最優(yōu)動(dòng)作。強(qiáng)化學(xué)習(xí)這一方法背后的數(shù)學(xué)原理與監(jiān)督/非監(jiān)督學(xué)習(xí)略有差異。監(jiān)督/非監(jiān)督學(xué)習(xí)更多地應(yīng)用了統(tǒng)計(jì)學(xué)，而強(qiáng)化學(xué)習(xí)更多地結(jié)合了離散數(shù)學(xué)、隨機(jī)過(guò)程這些數(shù)學(xué)方法。常見(jiàn)的算法有TD(λ)算法、Q-learning算法等。

三、機(jī)器學(xué)習(xí)在BI的應(yīng)用：自然語(yǔ)言分析

隨著機(jī)器學(xué)習(xí)的普及，對(duì)話型用戶(hù)交互接口逐漸成為業(yè)界的熱門(mén)話題。Natural Language to SQL( NL2SQL)就是這樣的一項(xiàng)技術(shù)，它將用戶(hù)的自然語(yǔ)句轉(zhuǎn)為可以執(zhí)行的SQL語(yǔ)句，從而免除業(yè)務(wù)用戶(hù)學(xué)習(xí)SQL語(yǔ)言的煩惱，成功將自然語(yǔ)言應(yīng)用于BI領(lǐng)域。

Smartbi的自然語(yǔ)言分析就是利用了NL2SQL技術(shù)，將自然語(yǔ)言通過(guò)神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為計(jì)算機(jī)可以識(shí)別的數(shù)據(jù)庫(kù)查詢(xún)語(yǔ)言。用戶(hù)通過(guò)語(yǔ)音或者鍵盤(pán)輸入后，“AI智能小麥”會(huì)將輸入的自然語(yǔ)言轉(zhuǎn)為語(yǔ)言元模型的形式，通過(guò)小麥內(nèi)置的知識(shí)抽取算法，經(jīng)過(guò)深度學(xué)習(xí)模型將元模型轉(zhuǎn)化為機(jī)器可以理解的數(shù)據(jù)庫(kù)語(yǔ)言。最后通過(guò)Smartbi預(yù)置的查詢(xún)引擎和圖形引擎，快速準(zhǔn)確的找到用戶(hù)想要的查詢(xún)結(jié)果，自動(dòng)生成圖形輸出，也可以在Smartbi中對(duì)查詢(xún)結(jié)果進(jìn)行組合和進(jìn)一步分析。

四、機(jī)器學(xué)習(xí)在BI的應(yīng)用：數(shù)據(jù)挖掘

數(shù)據(jù)挖掘利用機(jī)器學(xué)習(xí)技術(shù)從大量數(shù)據(jù)中挖掘出有價(jià)值的信息。對(duì)比傳統(tǒng)的數(shù)據(jù)分析，數(shù)據(jù)挖掘揭示數(shù)據(jù)之間未知的關(guān)系，可以做一些預(yù)測(cè)性的分析，例如精準(zhǔn)營(yíng)銷(xiāo)、銷(xiāo)量預(yù)測(cè)、流失客戶(hù)預(yù)警等等。

雖然數(shù)據(jù)挖掘?qū)W習(xí)門(mén)檻較高，但是有越來(lái)越多的軟件工具支持機(jī)器學(xué)習(xí)模型的自動(dòng)構(gòu)建，這些模型可以嘗試許多不同的算法來(lái)找出最成功的算法。一旦通過(guò)訓(xùn)練數(shù)據(jù)找到了能夠進(jìn)行預(yù)測(cè)的最佳模型，就可以部署它，并對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測(cè)。例如Smartbi的數(shù)據(jù)挖掘平臺(tái)在一個(gè)界面上通過(guò)可視化的操作實(shí)現(xiàn)數(shù)據(jù)預(yù)處理、算法應(yīng)用、模型訓(xùn)練、評(píng)估、部署等全生命周期的管理。同時(shí)，內(nèi)置分類(lèi)、聚類(lèi)、關(guān)聯(lián)、回歸五大類(lèi)數(shù)十個(gè)算法節(jié)點(diǎn)并支持自動(dòng)推薦，參數(shù)也能實(shí)現(xiàn)自動(dòng)調(diào)優(yōu)。

機(jī)器學(xué)習(xí)是人工智能應(yīng)用的又一重要研究領(lǐng)域。當(dāng)今，盡管在機(jī)器學(xué)習(xí)領(lǐng)域已經(jīng)取得重大技術(shù)進(jìn)展，但就目前機(jī)器學(xué)習(xí)發(fā)展現(xiàn)狀而言，自主學(xué)習(xí)能力還十分有限，還不具備類(lèi)似人那樣的學(xué)習(xí)能力，同時(shí)機(jī)器學(xué)習(xí)的發(fā)展也面臨著巨大的挑戰(zhàn)，諸如泛化能力、速度、可理解性以及數(shù)據(jù)利用能力等技術(shù)性難關(guān)必須克服。但令人可喜的是，在某些復(fù)雜的類(lèi)人神經(jīng)分析算法的開(kāi)發(fā)領(lǐng)域，計(jì)算機(jī)專(zhuān)家已經(jīng)取得了很大進(jìn)展，人們已經(jīng)可以開(kāi)發(fā)出許多自主性的算法和模型讓機(jī)器展現(xiàn)出高效的學(xué)習(xí)能力。對(duì)機(jī)器學(xué)習(xí)的進(jìn)一步深入研究，勢(shì)必推動(dòng)人工智能技術(shù)的深化應(yīng)用與發(fā)展。