機器學習算法分類

前言

機器學習起源于人工智能，可以賦予計算機以傳統(tǒng)編程所無法實現(xiàn)的能力，比如飛行器的自動駕駛、人臉識別、計算機視覺和數據挖掘等。

機器學習的算法很多。很多時候困惑人們的是，很多算法是一類算法，而有些算法又是從其他算法中延伸出來的。這里，我們從兩個方面來給大家介紹，第一個方面是學習的方式，第二個方面是算法的類似性。

學習方式

將算法按照學習方式分類可以讓人們在建模和算法選擇的時候考慮能根據輸入數據來選擇最合適的算法來獲得最好的結果。

監(jiān)督學習

 

在監(jiān)督學習中，輸入數據被稱為“訓練數據”，每組訓練數據有一個明確的類標。在建立預測模型的時候，監(jiān)督學習建立一個學習過程，將預測結果與“訓練數據”的實際結果進行比較，不斷的調整預測模型，直到模型的預測結果達到一個預期的準確率。

監(jiān)督式學習的常見應用場景如分類問題和回歸問題。常見算法有Linear Regression，LogisTIc Regression，Neural Network，SVMs。

非監(jiān)督學習

 

在非監(jiān)督學習中，數據并未被特別標識，學習模型是為了推斷出數據的一些內在結構。

常見的應用場景包括關聯(lián)規(guī)則的學習以及聚類等。常見算法包括K-means Clustering ，Principal Component Analysis和Anomaly DetecTIon。

半監(jiān)督學習

 

在此學習方式下，輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。應用場景包括分類和回歸，算法包括一些對常用監(jiān)督式學習算法的延伸，這些算法首先試圖對未標識數據進行建模，在此基礎上再對標識的數據進行預測。如圖論推理算法（Graph Inference）或者拉普拉斯支持向量機（Laplacian SVM.）等。

強化學習

 

在強化學習（Reinforcement Learning）中，輸入數據作為對模型的反饋，不像監(jiān)督模型那樣，輸入數據僅僅是作為一個檢查模型對錯的方式。在強化學習中，輸入數據直接反饋到模型，模型必須對此立刻作出調整。常見的應用場景包括動態(tài)系統(tǒng)以及機器人控制等。常見算法包括Q-Learning以及時間差學習（Temporal difference learning）。

在企業(yè)數據應用的場景下， 人們最常用的可能就是監(jiān)督式學習和非監(jiān)督式學習的模型。 在圖像識別等領域，由于存在大量的非標識的數據和少量的可標識數據， 目前半監(jiān)督式學習是一個很熱的話題。 而強化學習更多的應用在機器人控制及其他需要進行系統(tǒng)控制的領域。

算法類似性 回歸算法

 

回歸算法是試圖采用對誤差的衡量來探索變量之間的關系的一類算法。回歸算法是統(tǒng)計機器學習的利器。在機器學習領域，人們說起回歸，有時候是指一類問題，有時候是指一類算法，這一點常常會使初學者有所困惑。常見的回歸算法包括：最小二乘法（Ordinary Least Square），邏輯回歸（LogisTIc Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（MulTIvariate Adaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）。

基于核的算法

 

基于核的算法中最著名的莫過于支持向量機（SVM）了。 基于核的算法把輸入數據映射到一個高階的向量空間， 在這些高階向量空間里， 有些分類或者回歸問題能夠更容易的解決。 常見的基于核的算法包括：支持向量機（Support Vector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF）， 以及線性判別分析（Linear Discriminate Analysis ，LDA）等。

聚類算法

 

聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類算法。聚類算法通常按照中心點或者分層的方式對輸入數據進行歸并。所以的聚類算法都試圖找到數據的內在結構，以便按照最大的共同點將數據進行歸類。常見的聚類算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。

降維算法

 

像聚類算法一樣，降低維度算法試圖分析數據的內在結構，不過降低維度算法是以非監(jiān)督學習的方式試圖利用較少的信息來歸納或者解釋數據。這類算法可以用于高維數據的可視化或者用來簡化數據以便監(jiān)督式學習使用。常見的算法包括：主成份分析（Principle Component Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）。

集成學習算法

 

集成算法用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然后把結果整合起來進行整體預測。集成算法的主要難點在于究竟集成哪些獨立的較弱的學習模型以及如何把學習結果整合起來。這是一類非常強大的算法，同時也非常流行。常見的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，隨機森林（Random Forest）等。（競賽中多用到該類算法，效果較好）

基于實例的算法

 

基于實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數據，然后根據某些近似性把新數據與樣本數據進行比較。通過這種方式來尋找最佳的匹配。因此，基于實例的算法常常也被稱為“贏家通吃”學習或者“基于記憶的學習”。常見的算法包括 k-Nearest Neighbor（KNN）， 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射算法（Self-Organizing Map ， SOM）。

決策樹學習

 

決策樹算法根據數據的屬性采用樹狀結構建立決策模型， 決策樹模型常常用來解決分類和回歸問題。常見的算法包括：分類及回歸樹（Classification And Regression Tree， CART）， ID3 （Iterative Dichotomiser 3）， C4.5， 隨機森林（Random Forest）等。

貝葉斯方法

 

貝葉斯方法算法是基于貝葉斯定理的一類算法，主要用來解決分類和回歸問題。常見算法包括：樸素貝葉斯算法，以及Bayesian Belief Network（BBN）。

人工神經網絡

人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用于解決分類和回歸問題。它是機器學習的一個龐大的分支。重要的人工神經網絡算法包括：感知器神經網絡（Perceptron Neural Network）， 反向傳遞（Back Propagation）， Hopfield網絡，自組織映射（Self-Organizing Map， SOM）。（現(xiàn)在的深度學習就是由人工神經網絡發(fā)展而來）

深度學習

常見的深度學習算法包括：受限波爾茲曼機（Restricted Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網絡（Convolutional Network）， 堆棧式自動編碼器（Stacked Auto-encoders）。（發(fā)展至目前，最成功的當屬CNN和LSTM。）