機(jī)器學(xué)習(xí)的一般流程

本文中，小編將對(duì)機(jī)器學(xué)習(xí)予以介紹，如果你想對(duì)它的詳細(xì)情況有所認(rèn)識(shí)，或者想要增進(jìn)對(duì)它的了解程度，不妨請(qǐng)看以下內(nèi)容哦。

一、機(jī)器學(xué)習(xí)一般流程

預(yù)備：把實(shí)際問題轉(zhuǎn)化為機(jī)器學(xué)習(xí)問題，即能夠從現(xiàn)有的數(shù)據(jù)中學(xué)的某種規(guī)律，從而解決實(shí)際問題(預(yù)測(cè)或分類)

機(jī)器學(xué)習(xí)是數(shù)據(jù)和模型的結(jié)合。

(一)獲取數(shù)據(jù)：人工合成、爬蟲、數(shù)據(jù)庫、公開數(shù)據(jù)集、收集數(shù)據(jù)...

(二)數(shù)據(jù)預(yù)處理:

1.數(shù)據(jù)清洗：缺失數(shù)據(jù)、重復(fù)數(shù)據(jù)、一致性檢驗(yàn)

2.數(shù)據(jù)轉(zhuǎn)成數(shù)字：經(jīng)驗(yàn)、一般映射

3.特征轉(zhuǎn)換：定性特征和定量特征的處理

4. 訓(xùn)練數(shù)據(jù)采樣：隨機(jī)采樣、系統(tǒng)采樣、分層采樣、上采樣、下采樣

5.特征歸一化：均值化、標(biāo)準(zhǔn)化...

(三)特征工程

1.特征構(gòu)建：特征轉(zhuǎn)換、特征組合、特征分割

2.特征提?。禾卣鬓D(zhuǎn)換、降維(PCA等)、模型方法提取

3.特征選擇：過濾式(相似性度量、相關(guān)性比較，方差...)、包裝法(向前選擇和向后選擇、完全搜索、啟發(fā)式搜索、隨機(jī)搜索)、集成方法(正則化(L_1, L_2 范數(shù))、決策樹、深度學(xué)習(xí)、回歸模型，SVM，隨機(jī)森林)

(四)建模準(zhǔn)備

1.劃分?jǐn)?shù)據(jù)集：訓(xùn)練集+開發(fā)集+測(cè)試集+訓(xùn)練/開發(fā)集

2.數(shù)據(jù)可視化：表格、條形圖、線圖、散點(diǎn)圖...

(五)建模并改進(jìn)

1.明確問題：分類、回歸、監(jiān)督、無監(jiān)督、半監(jiān)督

2.假設(shè)單實(shí)數(shù)評(píng)估指標(biāo)：AUC/ROC、均方誤差、多指標(biāo)變?yōu)閱沃笜?biāo)...

3.快速選擇一些假設(shè)模型并進(jìn)行迭代：svm、線性模型、神經(jīng)網(wǎng)絡(luò)、決策樹...

4.設(shè)定代價(jià)函數(shù)：是否加正則項(xiàng)、均方誤差....

5.選擇優(yōu)化算法解決最優(yōu)化代價(jià)函數(shù)的問題：adam、sgd、動(dòng)量、

6.模型訓(xùn)練：一些參數(shù)的設(shè)置

7.模型評(píng)估和選擇：去除偏差較大的模型后選擇其中方差最小的模型

8.模型改進(jìn)：繪制學(xué)習(xí)曲線進(jìn)行偏差/方差分析，改進(jìn)欠擬合或過擬合問題(降低模型復(fù)雜度或提高模型復(fù)雜度)

9.誤差分析作進(jìn)一步改進(jìn)：用正交化方法處理各種問題(數(shù)據(jù)集分布錯(cuò)誤、方差、可避免誤差、開發(fā)集擬合度、假設(shè)檢驗(yàn))

(六)投入實(shí)際運(yùn)行

1.若表現(xiàn)差，可能要改變?cè)u(píng)估標(biāo)準(zhǔn)或改變開發(fā)集或測(cè)試集，重頭再來

2.若表現(xiàn)好，進(jìn)行模型監(jiān)測(cè)和更新：每隔一段時(shí)間更新模型和數(shù)據(jù)

二、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別

深度學(xué)習(xí)和機(jī)器學(xué)習(xí)已經(jīng)變得無處不在，那它們之間到底有什么區(qū)別呢?

1、數(shù)據(jù)相關(guān)性

深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)最重要的區(qū)別是，隨著數(shù)據(jù)量的增加，其性能也隨之提高。當(dāng)數(shù)據(jù)很小的時(shí)候，深度學(xué)習(xí)算法并不能很好地執(zhí)行，這是因?yàn)樯疃葘W(xué)習(xí)算法需要大量的數(shù)據(jù)才能完全理解它。

2、硬件依賴性

深度學(xué)習(xí)算法在很大程度上依賴于高端機(jī)器，而傳統(tǒng)的機(jī)器學(xué)習(xí)算法可以在低端機(jī)器上工作。這是因?yàn)樯疃葘W(xué)習(xí)算法對(duì)GPU有較高的要求，GPU是其工作的一個(gè)組成部分。因?yàn)樯疃葘W(xué)習(xí)算法要固有地執(zhí)行大量的矩陣乘法運(yùn)，而使用GPU可以有效地優(yōu)化這些操作，這就免不了對(duì)GPU的依賴。而相比之下，機(jī)器學(xué)習(xí)算法對(duì)硬件配置沒有很高的要求。

3、特征工程

特征工程是將領(lǐng)域知識(shí)應(yīng)用到特征抽取的創(chuàng)建過程，以降低數(shù)據(jù)的復(fù)雜性為目的。但這一過程在訓(xùn)練時(shí)間和如何提取特征方面十分地困難。

在機(jī)器學(xué)習(xí)中，大多數(shù)應(yīng)用的特征需要由專家識(shí)別，然后根據(jù)域和數(shù)據(jù)類型手工編碼。

例如，特征可以是像素值、形狀、紋理、位置和方向，大多數(shù)機(jī)器學(xué)習(xí)算法的性能取決于特征識(shí)別和提取的準(zhǔn)確程度。

而深度學(xué)習(xí)算法則試圖從數(shù)據(jù)中學(xué)習(xí)更高級(jí)的特性。這是深度學(xué)習(xí)一個(gè)非常獨(dú)特的部分，也是有別于傳統(tǒng)機(jī)器學(xué)習(xí)的一部分。因此，深度學(xué)習(xí)減少了為每個(gè)問題開發(fā)新的特征抽取的任務(wù)，而是像卷積神經(jīng)網(wǎng)絡(luò)(CNN)這樣嘗試學(xué)習(xí)低層次的特征，如：早期層次的邊緣和線條，然后是人臉的一部分，最后才是人臉的高層次表示。這樣的方式相較于機(jī)器學(xué)習(xí)，在訓(xùn)練時(shí)間和成本上有較高的提升。

以上便是小編此次帶來的有關(guān)機(jī)器學(xué)習(xí)的全部?jī)?nèi)容，十分感謝大家的耐心閱讀，想要了解更多相關(guān)內(nèi)容，或者更多精彩內(nèi)容，請(qǐng)一定關(guān)注我們網(wǎng)站哦。