[導(dǎo)讀] 人工智能在時下屬于非常熱門的技術(shù)，工作了10余年，對此領(lǐng)域卻了解甚少。所謂不進則退，慢進亦退！長江后浪推前浪，前浪死在沙灘上，嗯，我還是要掙扎一下，所以下決心在工作之余花時間學(xué)習(xí)相關(guān)技術(shù)，以免被時代遺棄。將間斷更新分享個人學(xué)習(xí)筆記。文中觀點錯誤一定很多，懇請指正。本文從整理一下機器學(xué)習(xí)的動因、由來、概念及理論要點。

機器學(xué)習(xí)是啥

機器學(xué)習(xí)(Machine Learning)是人工智能（AI)的一種形式，它使系統(tǒng)能夠從數(shù)據(jù)中學(xué)習(xí)而不是通過顯式編程來學(xué)習(xí)。但是，機器學(xué)習(xí)不是一個簡單的過程。隨著算法吸收訓(xùn)練數(shù)據(jù)，然后可以基于該數(shù)據(jù)生成更精確的模型。機器學(xué)習(xí)模型是使用數(shù)據(jù)訓(xùn)練機器學(xué)習(xí)算法時生成的輸出。訓(xùn)練后，為模型提供輸入時，將為您提供輸出。例如，預(yù)測算法將創(chuàng)建一個預(yù)測模型。然后，當您向預(yù)測模型提供數(shù)據(jù)時，您將收到基于訓(xùn)練模型的數(shù)據(jù)的預(yù)測 。

比如吳恩達講授線性回歸模型中的房價預(yù)測模型，就是利用現(xiàn)有的數(shù)據(jù)集，來訓(xùn)練線性估計器的參數(shù)。然后對于新輸入的參數(shù)來預(yù)測房價，當然這種預(yù)測是僅有一定準確度。

所以人工智能系統(tǒng)就是機器自己能獲取知識的能力，也即從原始數(shù)據(jù)中提取模式的能力

---<<深度學(xué)習(xí)>> Ian Goodfellow

機器學(xué)習(xí)是一種將信息轉(zhuǎn)化為知識的工具。在過去的50年中，數(shù)據(jù)激增。除非我們對其進行分析并找到隱藏在其中的模式，否則這些海量數(shù)據(jù)是無用的。機器學(xué)習(xí)技術(shù)用于在復(fù)雜數(shù)據(jù)中自動找到有價值的基礎(chǔ)模式，否則我們將很難發(fā)現(xiàn)這些模式。隱藏的問題模式和知識可用于預(yù)測未來事件并執(zhí)行各種復(fù)雜的決策。

所謂模式，是其內(nèi)在的客觀規(guī)律，用數(shù)學(xué)描述就是其數(shù)學(xué)模型。數(shù)學(xué)是工具。

傳統(tǒng)編程，軟件工程將人工創(chuàng)建的規(guī)則與數(shù)據(jù)結(jié)合起來，以解決問題。相反，機器學(xué)習(xí)使用數(shù)據(jù)和答案來發(fā)現(xiàn)問題背后的規(guī)則。所謂數(shù)據(jù)和答案，是指已知的樣本數(shù)據(jù)集參數(shù)之間的關(guān)系（個人理解）。

機器學(xué)習(xí)干啥

機器學(xué)習(xí)主要解決四大類問題：

• 分類(Categorize): 對人或事物進行分類。對于應(yīng)用實例而言，如電影分類，抓取電影的鏡頭，分析出是電影是愛情片/動作片/恐怖片等。
• 預(yù)測(Predict)：根據(jù)確定的模式預(yù)測可能的結(jié)果或行動。舉一個工業(yè)儀器領(lǐng)域的應(yīng)用例子，比如測量介質(zhì)粘度的傳感器，我們大概知道最終測量的粘度主要與傳感器采集到的電壓信號相關(guān)，但是同時還與介質(zhì)的溫度相關(guān)，介質(zhì)內(nèi)壓強相關(guān)，但是沒有準確的數(shù)據(jù)模型，那么可以通過實驗獲得這些參數(shù)的樣本集，同時通過其他方法測定（比如毛細管法）對應(yīng)參數(shù)的粘度，那么根據(jù)這些樣本集，可以通過線性或非線性模型方法訓(xùn)練出其模型，然后當采集到新的電壓、溫度、壓力時，可以預(yù)測出介質(zhì)的粘度。
• 識別(Identify)：找出迄今未知的模式和關(guān)系。比如語音識別，人臉識別等。
• 檢測(Detect):檢測異?；蛞馔庑袨?。比如安防領(lǐng)域通過攝像頭檢測出一些現(xiàn)象然后通過模型算法計算出異?；蛘咭馔獾母怕省?

簡而言之，機器學(xué)習(xí)特別適合以下問題：

• 適用的關(guān)聯(lián)或規(guī)則可能是憑直覺獲得的，但不容易用簡單的邏輯規(guī)則編寫或描述。
• 定義了潛在的輸出或操作，但是要采取什么操作取決于不同的條件，這些條件在事件發(fā)生之前無法預(yù)測或惟一地確定。
• 準確性比解釋或可解釋性更重要。
• 樣本數(shù)據(jù)對于傳統(tǒng)的分析技術(shù)來說無法滿足需求時。具體來說，比如寬數(shù)據(jù)(與記錄數(shù)量相比，每個記錄中有大量數(shù)據(jù)點或?qū)傩缘臄?shù)據(jù)集)和高度相關(guān)數(shù)據(jù)(具有相似或密切相關(guān)值的數(shù)據(jù))可能會給傳統(tǒng)的分析方法帶來問題。

為什么需要機器學(xué)習(xí)

需求驅(qū)動，還是那句話。需求驅(qū)動技術(shù)不斷向前發(fā)展。比如這樣一些場景：

• 機器學(xué)習(xí)還可以根據(jù)病人的基因構(gòu)成、人口統(tǒng)計學(xué)特征和心理特征，來決定哪種治療方法對病人最有效。
• 一個經(jīng)過練習(xí)的機器學(xué)習(xí)算法可以在擁擠的機場場景中識別出一個已知的“相關(guān)人員”的臉，從而阻止這個人登機。
• 社交媒體平臺利用機器學(xué)習(xí)來自動標記人，并在上傳的照片中識別常見的物體，如地標。
• 機器學(xué)習(xí)可以幫助發(fā)現(xiàn)哪些基因與特定的疾病途徑有關(guān)。
• 機器學(xué)習(xí)可以識別從A點到B點的最佳路線，預(yù)測交通狀況和旅行時間，并根據(jù)當前不斷變化的路況預(yù)測最佳路線。馬上就能想到導(dǎo)航軟件。
• 比如如火如荼的智能駕駛，汽車的主動安全
• .......

為什么這些待解決的問題是機器學(xué)習(xí)問題呢？

以智能駕駛為例：

駕駛是一個復(fù)雜但范圍廣泛的問題。實際上，車輛可能會執(zhí)行有限的操作：啟動，停止，前進，后退，轉(zhuǎn)彎，加速和減速。然而采取任何行動的決定會受到多種因素的影響，包括但不限于道路狀況，天氣狀況，其他車輛的存在和行為，兩腳人及其四腳朋友以及道路規(guī)則-只是為了 僅舉幾例。盡管駕駛員本能地即時評估所有這些輸入，但不可能為每種可能的組合捕獲離散的規(guī)則。

機器學(xué)習(xí)基礎(chǔ)術(shù)語

• 數(shù)據(jù)集（Dataset）: 一組數(shù)據(jù)樣本，其中包含對解決問題很重要的特征。
• 特征（Feature）: 幫助我們理解問題的重要數(shù)據(jù)片段。這些信息被輸入到機器學(xué)習(xí)算法中以幫助它學(xué)習(xí)。
• 模型（Model）:機器學(xué)習(xí)算法學(xué)習(xí)到的現(xiàn)象的表示(內(nèi)部模型)。它從訓(xùn)練中顯示的數(shù)據(jù)中學(xué)習(xí)這一點。這個模型是你訓(xùn)練一個算法后得到的輸出。例如，對決策樹算法進行訓(xùn)練，生成決策樹模型。
• 擬合(Fitting)：構(gòu)建模型以描述數(shù)據(jù)集的特征。比如常見的最小二乘法擬合。線性回歸就是我們前面說過的房價求解問題。如何擬合出一條直線最佳匹配我所有的數(shù)據(jù)？一般使用“最小二乘法”來求解。“最小二乘法”的思想是這樣的，假設(shè)我們擬合出的直線代表數(shù)據(jù)的真實值，而觀測到的數(shù)據(jù)代表擁有誤差的值。為了盡可能減小誤差的影響，需要求解一條直線使所有誤差的平方和最小。最小二乘法將最優(yōu)問題轉(zhuǎn)化為求函數(shù)極值問題。函數(shù)極值在數(shù)學(xué)上我們一般會采用求導(dǎo)數(shù)為0的方法。但這種做法并不適合計算機，可能求解不出來，也可能計算量太大。
• 過擬合(Over Fitting):是指模型過度的擬合了訓(xùn)練集，而在其他數(shù)據(jù)集上擬合程度較差。過擬合會導(dǎo)致高方差（Variance）（即為不同訓(xùn)練集得到的模型的輸出與這些模型期望輸出的差異）
• 欠擬合(Owe Fitting):是指模型沒有很好地捕捉到數(shù)據(jù)特征，不能夠很好地擬合數(shù)據(jù)。欠擬合的表現(xiàn)為其在訓(xùn)練集表現(xiàn)較差，在測試集表現(xiàn)同樣較差。欠擬合會導(dǎo)致高偏差（Bias） （即為模型的期望輸出與其真實輸出之間的差異）
• 泛化(generalization):是指一個機器學(xué)習(xí)算法對于沒有見過的樣本的識別能力。我們也叫做舉一反三的能力，或者叫做學(xué)以致用的能力。
• 損失函數(shù)(Loss/cost Function):損失函數(shù)定義了擬合結(jié)果和真實結(jié)果之間的差異，作為優(yōu)化的目標直接關(guān)系模型訓(xùn)練的好壞。
• 超參數(shù)(hyper-parameters):在機器學(xué)習(xí)的上下文中，超參數(shù)是在開始學(xué)習(xí)過程之前設(shè)置值的參數(shù)，而不是通過訓(xùn)練得到的參數(shù)數(shù)據(jù)。通常情況下，需要對超參數(shù)進行優(yōu)化，給學(xué)習(xí)機選擇一組最優(yōu)超參數(shù)，以提高學(xué)習(xí)的性能和效果。
• .......

機器學(xué)習(xí)過程

機器學(xué)習(xí)的過程分為下圖這么幾大步驟：

1. 樣本數(shù)據(jù)收集:收集算法將學(xué)習(xí)的數(shù)據(jù)樣本集中?？梢酝ㄟ^儀器手段收集相關(guān)的數(shù)據(jù)，比如前文描述的粘度計，則可以利用多通道采集設(shè)備同時采集溫度、電壓，同時利用毛細管物理法測定介質(zhì)粘度（這種方法相對較準確）。
2. 數(shù)據(jù)準備:格式化并將數(shù)據(jù)設(shè)計成最佳格式，提取重要特征并進行降維。所謂降維個人理解是相關(guān)性分析。
3. 訓(xùn)練:也被稱為模型擬合階段，這是機器學(xué)習(xí)算法通過顯示已經(jīng)收集和準備的數(shù)據(jù)來實際學(xué)習(xí)的階段。
4. 評估:測試模型，看看它執(zhí)行得如何。所謂的過擬合/欠擬合就在這里可以得到體現(xiàn)。利用一些數(shù)學(xué)指標，比如標準差、精度、代價曲線等等進行定量度量模型是否滿足要求。
5. 參數(shù)調(diào)優(yōu):微調(diào)模型，使其性能最大化。主要調(diào)整模型的參數(shù)，在驗證調(diào)整的結(jié)果。

這個過程一般會在設(shè)備自動完成，但是有的比如邊緣計算，則會將模型訓(xùn)練利用離線訓(xùn)練，最后部署在嵌入式設(shè)備中進行實際運行。

理論知識

起源

分析引擎編織代數(shù)模式，就像提花編織花朵和葉子一樣— Ada Lovelace

計算的創(chuàng)始人之一，也許是第一位計算機程序員Ada Lovelace，意識到世界上任何事物都可以用數(shù)學(xué)來描述。

更重要的是，這意味著可以創(chuàng)建一個數(shù)學(xué)公式來推導(dǎo)代表任何現(xiàn)象的關(guān)系。艾達·洛夫萊斯意識到，機器有潛力在不需要人類幫助的情況下了解世界。

大約200年后，這些基本思想對機器學(xué)習(xí)至關(guān)重要。不管問題是什么，它的信息都可以作為數(shù)據(jù)點繪制到圖上。然后，機器學(xué)習(xí)試圖找到隱藏在原始信息中的數(shù)學(xué)模式和關(guān)系。

概率論

概率論是一種有序的觀點……從數(shù)據(jù)中得出的推論只不過是根據(jù)相關(guān)的新信息對這種觀點進行的修正而已——托馬斯·貝葉斯

注：圖片中，是概率論中一個非常重要的公式：全概率公式

另一位數(shù)學(xué)家托馬斯·貝葉斯(Thomas Bayes)創(chuàng)立了概率論中至關(guān)重要的思想，這些思想在機器學(xué)習(xí)中得到了體現(xiàn)。如果閱讀機器學(xué)習(xí)的理論書籍，你可以在很多地方見到貝葉斯這個名詞。

真實世界中所有發(fā)生的事情都帶有不確定性。機器學(xué)習(xí)的基礎(chǔ)是概率的貝葉斯解釋。貝葉斯概率意味著我們認為概率是量化一個事件的不確定性。因此，我們必須根據(jù)事件的可用信息來確定概率，而不是計算重復(fù)試驗的次數(shù)。例如，在預(yù)測一場足球比賽時，貝葉斯方法將使用相關(guān)信息，如當前形式、聯(lián)賽排名和首發(fā)球隊，而不是計算曼聯(lián)戰(zhàn)勝利物浦的總次數(shù)。

采用這種方法的好處是，概率仍然可以分配給稀有事件，因為決策過程是基于相關(guān)特征和推理的。

機器學(xué)習(xí)方法

在進行機器學(xué)習(xí)時可以采用許多方法。它們通常被分為以下區(qū)域。監(jiān)督和無監(jiān)督是常見的方法。半監(jiān)督和強化學(xué)習(xí)是較新的和更復(fù)雜的，但已顯示出其威力。

無免費午餐定理在機器學(xué)習(xí)中很有名。它指出，沒有一種算法可以適用于所有任務(wù)。你試圖解決的每個任務(wù)都有自己的特點。因此，有許多算法和方法來適應(yīng)每個問題的個別特性。更多類型的機器學(xué)習(xí)和人工智能將不斷被引入，以最適合不同的問題。

監(jiān)督學(xué)習(xí)

定義：在監(jiān)督學(xué)習(xí)中，目標是學(xué)習(xí)一組輸入和輸出之間的映射(規(guī)則)。

例如，輸入可以是天氣預(yù)報，輸出將是海灘的游客。監(jiān)督學(xué)習(xí)的目標是學(xué)習(xí)描述溫度和海灘游客數(shù)量之間關(guān)系的映射?；蛘咔懊嬲劦降恼扯扔嬯P(guān)鍵擬合也算是一個實例。

在學(xué)習(xí)過程中，過去的輸入和輸出對被標記的數(shù)據(jù)被提供給模型，以教它如何表現(xiàn)，因此，“監(jiān)督”學(xué)習(xí)。對于海灘的例子，新的輸入是輸入預(yù)測溫度，然后機器學(xué)習(xí)算法將輸出未來游客數(shù)量的預(yù)測。

當然實際應(yīng)用應(yīng)該還需考慮其他相關(guān)因素，例如政治因素、機票價格、法定假日等等。

在監(jiān)督學(xué)習(xí)中要注意的一個副作用是，提供的監(jiān)督會給學(xué)習(xí)帶來偏差。該模型只能精確地模仿它所顯示的內(nèi)容，因此展示它可靠、無偏見的示例是非常重要的。而且，監(jiān)督學(xué)習(xí)在學(xué)習(xí)之前通常需要大量的數(shù)據(jù)。獲得足夠可靠的標記數(shù)據(jù)通常是使用監(jiān)督學(xué)習(xí)中最困難和最昂貴的部分。

監(jiān)督機器學(xué)習(xí)模型的輸出也可能是有限集e中的一個類別。g[低、中、高]表示前往海灘的游客人數(shù):

輸入[溫度=20] -> 模型 -> 輸出 = [游客數(shù)=高]

在這種情況下，它決定如何對輸入進行分類，這就是所謂的分類。或者輸出可以是一個真實的標量(輸出一個數(shù)字):

輸入 [溫度=20] ->模型-> 輸出 = [游客數(shù)=300]

這種計算模型，稱之為回歸。

分類

分類將相似的數(shù)據(jù)點分組到不同的組，以便對它們進行分類。機器學(xué)習(xí)被用來發(fā)現(xiàn)解釋如何分離不同數(shù)據(jù)點的規(guī)則。

但這些神奇的規(guī)則是如何產(chǎn)生的呢?有多種方法可以產(chǎn)生規(guī)則。它們都專注于使用數(shù)據(jù)和答案來發(fā)現(xiàn)線性分離數(shù)據(jù)點的規(guī)則。

線性可分性是機器學(xué)習(xí)中的一個關(guān)鍵概念。所有這些線性可分性意味著“不同的數(shù)據(jù)點可以用一條線分開嗎?”簡單地說，分類方法試圖找到用一條線分隔數(shù)據(jù)點的最佳方法。

回歸

回歸是監(jiān)督學(xué)習(xí)的另一種形式。分類和回歸的區(qū)別在于回歸輸出的是一個數(shù)字而不是一個類。因此，在預(yù)測基于數(shù)字的問題(如股票市場價格、某一天的溫度或某一事件的概率)時，回歸是有用的。

例如：

在金融交易中，回歸被用來發(fā)現(xiàn)股票和其他資產(chǎn)的模式，以決定何時買進/賣出并獲利。

分類和回歸監(jiān)督學(xué)習(xí)技術(shù)都可以擴展到更復(fù)雜的任務(wù)。例如，涉及語音和音頻的任務(wù)。圖像分類、對象檢測和聊天機器人就是一些例子。

下面展示的一個最近的例子使用了一個經(jīng)過監(jiān)督學(xué)習(xí)訓(xùn)練的模型來逼真地模仿人們說話的視頻。

您可能想知道這個復(fù)雜的基于圖像的任務(wù)是如何與分類或回歸相關(guān)的？前面提到世界上的所有事物，甚至是復(fù)雜的現(xiàn)象，都可以從根本上用數(shù)學(xué)和數(shù)字來描述。但在這個例子中，數(shù)字是面部網(wǎng)格的數(shù)值三維坐標值。

無監(jiān)督學(xué)習(xí)

在無監(jiān)督學(xué)習(xí)中，示例中僅提供輸入數(shù)據(jù)而沒有目標標簽輸出。但令人驚訝的是，仍然有可能在沒有任何標簽的數(shù)據(jù)中發(fā)現(xiàn)許多有趣和復(fù)雜的模式。

在現(xiàn)實生活中，無監(jiān)督學(xué)習(xí)的一個例子就是把不同顏色的硬幣分門別類。沒人教過你如何把它們分開，但只要看看它們的特征，比如顏色，你就能知道哪些顏色的硬幣是相關(guān)的，并把它們歸到正確的類別里。

一種無監(jiān)督學(xué)習(xí)算法(t-SNE)只根據(jù)手寫數(shù)字的特征，正確地將其分組

無監(jiān)督學(xué)習(xí)可能比監(jiān)督學(xué)習(xí)更難，因為沒有監(jiān)督意味著問題變得越來越不明確。該算法對于尋找什么模式的想法不太集中。

試想，如果你是在老師的指導(dǎo)下學(xué)習(xí)彈吉他的，可以通過重復(fù)指導(dǎo)下練習(xí)關(guān)于音符、和弦和節(jié)奏的知識來快速學(xué)習(xí)。但如果只是自學(xué)，你會發(fā)現(xiàn)學(xué)習(xí)效率變得困難得多。

為了在未標記的數(shù)據(jù)中找到有趣的結(jié)構(gòu)，我們使用了密度估計。最常見的形式是聚類。除其他外，還存在降維，潛在變量模型和異常檢測。更復(fù)雜的無監(jiān)督技術(shù)涉及神經(jīng)網(wǎng)絡(luò)，例如自動編碼器和深度信念網(wǎng)絡(luò)。

聚類

無監(jiān)督學(xué)習(xí)主要用于聚類。聚類是創(chuàng)建具有不同特征的組的行為。聚類嘗試在數(shù)據(jù)集中查找不同的子組。由于這是無監(jiān)督學(xué)習(xí)，因此我們不受任何標簽的限制，可以自由選擇要創(chuàng)建多少聚類。這既有優(yōu)點也有缺陷， 必須通過經(jīng)驗?zāi)Ｐ瓦x擇過程來選擇具有正確簇數(shù)（復(fù)雜度）的模型。

關(guān)聯(lián)

關(guān)聯(lián)學(xué)習(xí)中，用以發(fā)現(xiàn)描述數(shù)據(jù)的規(guī)則。例如，如果某人觀看視頻A，則他們很可能會觀看視頻B。關(guān)聯(lián)規(guī)則非常適合諸如此類的您要查找相關(guān)項目的示例。這就是互聯(lián)網(wǎng)利用大數(shù)據(jù)進行挖掘，然后自動推送相關(guān)內(nèi)容的一種應(yīng)用之一。

異常檢測

識別或鑒別與大多數(shù)數(shù)據(jù)不同的稀有或異常特征。例如，銀行將使用它來檢測銀行卡上的欺詐活動。正常消費習(xí)慣會落入正常的行為類別內(nèi)。但是，當有人嘗試使用您的卡從您那里偷錢時，其行為將不同于您的正常模式。異常檢測使用無監(jiān)督學(xué)習(xí)來分離和檢測這些非同尋常的事件。

異常檢測非常適合于欺詐檢測和惡意軟件檢測等場景。

降維

降維的目的是找到最重要的特征，將原始的特征集降為更小更有效的集，并對重要的數(shù)據(jù)進行編碼?？梢岳斫鉃閷?shù)列表與期望識別的特征中相關(guān)性相對較高的提取出來，把相關(guān)性弱或者不相關(guān)的剔除。從而能更容易的建立相對準確的數(shù)學(xué)模型。

例如，在預(yù)測前往海灘的游客人數(shù)時，我們可以使用溫度、星期幾、月份和當天安排的活動數(shù)量作為輸入。但這個月對于預(yù)測游客人數(shù)可能并不重要。

像這樣不相關(guān)的特征會混淆機器學(xué)習(xí)算法，使它們的效率和準確性降低。通過降維，只識別和使用最重要的特征。主成分分析(PCA)是一種常用的分析方法。

舉例：

在現(xiàn)實應(yīng)用中，通過研究基于恒星特征自動形成哪些恒星子組，聚類已經(jīng)被成功地用于發(fā)現(xiàn)一種新的恒星類型。在市場營銷中，它經(jīng)常被用來根據(jù)顧客的行為和特征將客戶分組。

關(guān)聯(lián)學(xué)習(xí)用于推薦或查找相關(guān)項目。一個常見的例子是市場籃子分析。在市場購物籃分析中，發(fā)現(xiàn)關(guān)聯(lián)規(guī)則可以根據(jù)客戶放置在購物籃中的東西預(yù)測客戶可能購買的其他商品。亞馬遜使用這個。如果您將新的筆記本電腦放在籃子里，他們會通過其關(guān)聯(lián)規(guī)則推薦諸如筆記本電腦外殼之類的物品。

半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)(Semi-supervised learning)是監(jiān)督方法和非監(jiān)督方法之間的混合。學(xué)習(xí)過程中不針對每個輸入的示例輸出進行嚴格的監(jiān)督，但是也不允許算法全自主進行，而不提供任何形式的反饋。半監(jiān)督學(xué)習(xí)屬于折中方案策略。

通過將少量標記數(shù)據(jù)與更多的未標記數(shù)據(jù)集混合在一起，可以減輕擁有足夠標記數(shù)據(jù)的負擔。因此它提出了更多機器學(xué)習(xí)要解決的問題。

生成對抗的網(wǎng)絡(luò)GAN

生成式對抗網(wǎng)絡(luò)(Generative Adversarial Networks GANs)是最近的一個突破，取得了令人難以置信的成果。GANs使用兩個神經(jīng)網(wǎng)絡(luò)，一個生成器和一個鑒別器。發(fā)生器產(chǎn)生輸出，鑒別器對輸出進行鑒別。通過互相對抗，他們都變得越來越有準確熟練。

通過使用一個網(wǎng)絡(luò)來生成輸入和另一個網(wǎng)絡(luò)來生成輸出，我們不需要每次都提供顯式標簽，因此它可以被歸類為半監(jiān)督。

舉例：

通過使用一個網(wǎng)絡(luò)來生成輸入和另一個網(wǎng)絡(luò)來生成輸出，我們不需要一個完美的例子，比如醫(yī)學(xué)掃描，比如乳腺癌掃描。需要一個訓(xùn)練有素的專家來標記這些是費時和非常昂貴的。相反，專家可以只對一小組乳腺癌掃描進行標記，而半監(jiān)督算法將能夠利用這一小部分并將其應(yīng)用于更大的一組掃描。

在下面視頻中，一個被稱為GAN(生成式對抗網(wǎng)絡(luò))的神經(jīng)網(wǎng)絡(luò)被用來合成圖像，而不使用標記的訓(xùn)練數(shù)據(jù)。

強化學(xué)習(xí)

最后一種機器學(xué)習(xí)不那么常見，也復(fù)雜得多，但卻產(chǎn)生了令人難以置信的結(jié)果。它不使用標簽，而是使用獎勵來學(xué)習(xí)。

如果你熟悉心理學(xué)，你應(yīng)該聽說過強化學(xué)習(xí)。如果沒有，你已經(jīng)從我們在日常生活中學(xué)習(xí)的方式中了解了這個概念。在這種方法中，偶爾的正面和負面反饋被用來強化行為。就像訓(xùn)練狗一樣，良好的行為會得到獎賞，而且會變得越來越普遍。不良行為會受到懲罰，變得不那么常見。這種獎勵激勵行為是強化學(xué)習(xí)的關(guān)鍵。個人理解是利用了控制論中的反饋機制。

這與我們?nèi)祟惖膶W(xué)習(xí)方式非常相似。在我們的一生中，我們接受積極和消極的信號，并不斷從中學(xué)習(xí)。我們大腦中的化學(xué)物質(zhì)是我們獲得這些信號的多種途徑之一。當好事發(fā)生時，我們大腦中的神經(jīng)元會提供一種積極的神經(jīng)遞質(zhì)，比如讓我們感覺良好的多巴胺，這樣我們就更有可能重復(fù)那個特定的行為。我們不需要持續(xù)的監(jiān)督來學(xué)習(xí)，就像在監(jiān)督學(xué)習(xí)中一樣。通過偶爾給予強化信號，我們?nèi)匀豢梢苑浅Ｓ行У貙W(xué)習(xí)。

舉例：

強化學(xué)習(xí)在現(xiàn)實世界中使用得并不多，因為它是如此的新穎和復(fù)雜。但是一個真實世界的例子是使用強化學(xué)習(xí)通過以一種更有效的方式控制冷卻系統(tǒng)來降低數(shù)據(jù)中心的運行成本。該算法學(xué)習(xí)如何行動的最優(yōu)策略，以獲得最低的能源成本。成本越低，得到的效益越多。

在研究中，它經(jīng)常用于游戲。完美信息游戲(你可以看到整個環(huán)境的狀態(tài))和不完美信息游戲(部分狀態(tài)被隱藏，如現(xiàn)實世界)都獲得了比人類更大的成功。

谷歌DeepMind在研究中使用強化學(xué)習(xí)來玩圍棋和雅達利游戲，達到了超人的水平，稱為Deep Q的神經(jīng)網(wǎng)絡(luò)會使用分數(shù)作為獎勵來學(xué)習(xí)自己玩Breakout游戲。

主要參考翻譯自：

https://towardsdatascience.com/machine-learning-an-introduction-23b84d51e6d0

作者 ：Gavin Edwards

如果喜歡右下點個在看，也會讓我倍感鼓舞

關(guān)注置頂：掃描左下二維碼關(guān)注公眾號加星

加群交流：掃描右下二維碼添加，發(fā)送“加群”