R-CNN論文詳解

這幾天在看《Rich feature hierarchies for accurate object detection and semantic segmentation 》，覺得作者的科研素養(yǎng)非常棒，考慮問題很全面而且很有邏輯性；

&創(chuàng)新點

采用CNN網(wǎng)絡(luò)提取圖像特征，從經(jīng)驗驅(qū)動的人造特征范式HOG、SIFT到數(shù)據(jù)驅(qū)動的表示學(xué)習(xí)范式，提高特征對樣本的表示能力；

采用大樣本下有監(jiān)督預(yù)訓(xùn)練+小樣本微調(diào)的方式解決小樣本難以訓(xùn)練甚至過擬合等問題。

&問題是什么

近10年以來，以人工經(jīng)驗特征為主導(dǎo)的物體檢測任務(wù)mAP【物體類別和位置的平均精度】提升緩慢；

隨著ReLu激勵函數(shù)、dropout正則化手段和大規(guī)模圖像樣本集ILSVRC的出現(xiàn)，在2012年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中，Hinton及他的學(xué)生采用CNN特征獲得了最高的圖像識別精確度；

上述比賽后，引發(fā)了一股“是否可以采用CNN特征來提高當(dāng)前一直停滯不前的物體檢測準(zhǔn)確率“的熱潮。

【寫給小白：一圖理解圖像分類，圖像定位，目標(biāo)檢測和實例分割】

&如何解決問題

。測試過程

輸入一張多目標(biāo)圖像，采用selective search算法提取約2000個建議框；

先在每個建議框周圍加上16個像素值為建議框像素平均值的邊框，再直接變形為227×227的大??；

先將所有建議框像素減去該建議框像素平均值后【預(yù)處理操作】，再依次將每個227×227的建議框輸入AlexNet CNN網(wǎng)絡(luò)獲取4096維的特征【比以前的人工經(jīng)驗特征低兩個數(shù)量級】，2000個建議框的CNN特征組合成2000×4096維矩陣；

將2000×4096維特征與20個SVM組成的權(quán)值矩陣4096×20相乘【20種分類，SVM是二分類器，則有20個SVM】，獲得2000×20維矩陣表示每個建議框是某個物體類別的得分；

分別對上述2000×20維矩陣中每一列即每一類進行非極大值抑制剔除重疊建議框，得到該列即該類中得分最高的一些建議框；

分別用20個回歸器對上述20個類別中剩余的建議框進行回歸操作，最終得到每個類別的修正后的得分最高的bounding box。

。解釋分析

selective search
采取過分割手段，將圖像分割成小區(qū)域，再通過顏色直方圖，梯度直方圖相近等規(guī)則進行合并，最后生成約2000個建議框的操作，具體見博客。

為什么要將建議框變形為227×227？怎么做？
本文采用AlexNet CNN網(wǎng)絡(luò)進行CNN特征提取，為了適應(yīng)AlexNet網(wǎng)絡(luò)的輸入圖像大?。?27×227，故將所有建議框變形為227×227。
那么問題來了，如何進行變形操作呢？作者在補充材料中給出了四種變形方式：

① 考慮context【圖像中context指RoI周邊像素】的各向同性變形，建議框像周圍像素擴充到227×227，若遇到圖像邊界則用建議框像素均值填充，下圖第二列；
② 不考慮context的各向同性變形，直接用建議框像素均值填充至227×227，下圖第三列；
③ 各向異性變形，簡單粗暴對圖像就行縮放至227×227，下圖第四列；
④ 變形前先進行邊界像素填充【padding】處理，即向外擴展建議框邊界，以上三種方法中分別采用padding=0下圖第一行，padding=16下圖第二行進行處理；

經(jīng)過作者一系列實驗表明采用padding=16的各向異性變形即下圖第二行第三列效果最好，能使mAP提升3-5%。

CNN特征如何可視化？
文中采用了巧妙的方式將AlexNet CNN網(wǎng)絡(luò)中Pool5層特征進行了可視化。該層的size是6×6×256，即有256種表示不同的特征，這相當(dāng)于原始227×227圖片中有256種195×195的感受視野【相當(dāng)于對227×227的輸入圖像，卷積核大小為195×195，padding=4，step=8，輸出大小(227-195+2×4)/8+1=6×6】；
文中將這些特征視為”物體檢測器”，輸入10million的Region Proposal集合，計算每種6×6特征即“物體檢測器”的激活量，之后進行非極大值抑制【下面解釋】，最后展示出每種6×6特征即“物體檢測器”前幾個得分最高的Region Proposal，從而給出了這種6×6的特征圖表示了什么紋理、結(jié)構(gòu)，很有意思。

為什么要進行非極大值抑制？非極大值抑制又如何操作？
先解釋什么叫IoU。如下圖所示IoU即表示(A∩B)/(A∪B)



在測試過程完成到第4步之后，獲得2000×20維矩陣表示每個建議框是某個物體類別的得分情況，此時會遇到下圖所示情況，同一個車輛目標(biāo)會被多個建議框包圍，這時需要非極大值抑制操作去除得分較低的候選框以減少重疊框。



具體怎么做呢？
① 對2000×20維矩陣中每列按從大到小進行排序；
② 從每列最大的得分建議框開始，分別與該列后面的得分建議框進行IoU計算，若IoU>閾值，則剔除得分較小的建議框，否則認(rèn)為圖像中存在多個同一類物體；
③ 從每列次大的得分建議框開始，重復(fù)步驟②；
④ 重復(fù)步驟③直到遍歷完該列所有建議框；
⑤ 遍歷完2000×20維矩陣所有列，即所有物體種類都做一遍非極大值抑制；
⑥ 最后剔除各個類別中剩余建議框得分少于該類別閾值的建議框。【文中沒有講，博主覺得有必要做】

為什么要采用回歸器？回歸器是什么有什么用？如何進行操作？
首先要明確目標(biāo)檢測不僅是要對目標(biāo)進行識別，還要完成定位任務(wù)，所以最終獲得的bounding-box也決定了目標(biāo)檢測的精度。
這里先解釋一下什么叫定位精度：定位精度可以用算法得出的物體檢測框與實際標(biāo)注的物體邊界框的IoU值來近似表示。

如下圖所示，綠色框為實際標(biāo)準(zhǔn)的卡宴車輛框，即Ground Truth；黃色框為selective search算法得出的建議框，即Region Proposal。即使黃色框中物體被分類器識別為卡宴車輛，但是由于綠色框和黃色框IoU值并不大，所以最后的目標(biāo)檢測精度并不高。采用回歸器是為了對建議框進行校正，使得校正后的Region Proposal與selective search更接近， 以提高最終的檢測精度。論文中采用bounding-box回歸使mAP提高了3~4%。



那么問題來了，回歸器如何設(shè)計呢？



如上圖，黃色框口P表示建議框Region Proposal，綠色窗口G表示實際框Ground Truth，紅色窗口G^表示Region Proposal進行回歸后的預(yù)測窗口，現(xiàn)在的目標(biāo)是找到P到G^的線性變換【當(dāng)Region Proposal與Ground Truth的IoU>0.6時可以認(rèn)為是線性變換】，使得G^與G越相近，這就相當(dāng)于一個簡單的可以用最小二乘法解決的線性回歸問題，具體往下看。
讓我們先來定義P窗口的數(shù)學(xué)表達(dá)式：Pi=(Pix，Piy，Piw，Pih)，其中(Pix，Piy)表示第一個i窗口的中心點坐標(biāo)，Piw，Pih分別為第i個窗口的寬和高；G窗口的數(shù)學(xué)表達(dá)式為：Gi=(Gix，Giy，Giw，Gih)；G^窗口的數(shù)學(xué)表達(dá)式為：G^i=(G^ix，G^iy，G^iw，G^ih)。以下省去i上標(biāo)。
這里定義了四種變換函數(shù)，dx(P)，dy(P)，dw(P)，dh(P)。dx(P)和dy(P)通過平移對x和y進行變化，dw(P)和dh(P)通過縮放對w和h進行變化，即下面四個式子所示：

G^x=Pwdx(P)+Px(1) G^y=Phdy(P)+Py(2) G^w=Pwexp(dw(P))(3) G^h=Phexp(dh(P))(4)

每一個d?(P)【*表示x，y，w，h】都是一個AlexNet CNN網(wǎng)絡(luò)Pool5層特征?5(P)的線性函數(shù)，即d?(P)=wT??5(P)，這里wT?就是所需要學(xué)習(xí)的回歸參數(shù)。損失函數(shù)即為：

Loss=argmin∑i=0N(ti??w^T??5(Pi))2+λ||w^?||2(5)

損失函數(shù)中加入正則項λ||w^?||2是為了避免歸回參數(shù)wT?過大。其中，回歸目標(biāo)t?由訓(xùn)練輸入對(P，G)按下式計算得來：

tx=(Gx?Px)/Pw(6) ty=(Gy?Py)/Ph(7) tw=log(Gw/Pw)(8) th=log(Gh/Ph)(9)

①構(gòu)造樣本對。為了提高每類樣本框回歸的有效性，對每類樣本都僅僅采集與Ground Truth相交IoU最大的Region Proposal，并且IoU>0.6的Region Proposal作為樣本對(Pi，Gi)，一共產(chǎn)生20對樣本對【20個類別】；
②每種類型的回歸器單獨訓(xùn)練，輸入該類型樣本對N個：{(Pi,Gi)}i=1?N以及Pii=1?N所對應(yīng)的AlexNet CNN網(wǎng)絡(luò)Pool5層特征?5(Pi)i=1?N；
③利用(6)-(9)式和輸入樣本對{(Pi,Gi)}i=1?N計算ti?i=1?N；
④利用?5(Pi)i=1?N和ti?i=1?N，根據(jù)損失函數(shù)(5)進行回歸，得到使損失函數(shù)最小的參數(shù)wT?。

。訓(xùn)練過程

有監(jiān)督預(yù)訓(xùn)練

正樣本 ILSVRC2012 負(fù)樣本 ILSVRC2012

ILSVRC樣本集上僅有圖像類別標(biāo)簽，沒有圖像物體位置標(biāo)注；
采用AlexNet CNN網(wǎng)絡(luò)進行有監(jiān)督預(yù)訓(xùn)練，學(xué)習(xí)率=0.01；
該網(wǎng)絡(luò)輸入為227×227的ILSVRC訓(xùn)練集圖像，輸出最后一層為4096維特征->1000類的映射，訓(xùn)練的是網(wǎng)絡(luò)參數(shù)。

特定樣本下的微調(diào)

正樣本 Ground Truth+與Ground Truth相交IoU>0.5的建議框【由于Ground Truth太少了】 負(fù)樣本 與Ground Truth相交IoU≤0.5的建議框

PASCAL VOC 2007樣本集上既有圖像中物體類別標(biāo)簽，也有圖像中物體位置標(biāo)簽；
采用訓(xùn)練好的AlexNet CNN網(wǎng)絡(luò)進行PASCAL VOC 2007樣本集下的微調(diào)，學(xué)習(xí)率=0.001【0.01/10為了在學(xué)習(xí)新東西時不至于忘記之前的記憶】；
mini-batch為32個正樣本和96個負(fù)樣本【由于正樣本太少】；
該網(wǎng)絡(luò)輸入為建議框【由selective search而來】變形后的227×227的圖像，修改了原來的1000為類別輸出，改為21維【20類+背景】輸出，訓(xùn)練的是網(wǎng)絡(luò)參數(shù)。

SVM訓(xùn)練

正樣本 Ground Truth 負(fù)樣本 與Ground Truth相交IoU＜0.3的建議框

由于SVM是二分類器，需要為每個類別訓(xùn)練單獨的SVM；
SVM訓(xùn)練時輸入正負(fù)樣本在AlexNet CNN網(wǎng)絡(luò)計算下的4096維特征，輸出為該類的得分，訓(xùn)練的是SVM權(quán)重向量；
由于負(fù)樣本太多，采用hard negative mining的方法在負(fù)樣本中選取有代表性的負(fù)樣本，該方法具體見。

Bounding-box regression訓(xùn)練

正樣本 與Ground Truth相交IoU最大的Region Proposal，并且IoU>0.6的Region Proposal

輸入數(shù)據(jù)為某類型樣本對N個：{(Pi,Gi)}i=1?N以及Pii=1?N所對應(yīng)的AlexNet CNN網(wǎng)絡(luò)Pool5層特征?5(Pi)i=1?N，輸出回歸后的建議框Bounding-box，訓(xùn)練的是dx(P)，dy(P)，dw(P)，dh(P)四種變換操作的權(quán)重向量。具體見前面分析。

。解釋分析

什么叫有監(jiān)督預(yù)訓(xùn)練？為什么要進行有監(jiān)督預(yù)訓(xùn)練？

有監(jiān)督預(yù)訓(xùn)練也稱之為遷移學(xué)習(xí)，舉例說明：若有大量標(biāo)注信息的人臉年齡分類的正負(fù)樣本圖片，利用樣本訓(xùn)練了CNN網(wǎng)絡(luò)用于人臉年齡識別；現(xiàn)在要通過人臉進行性別識別，那么就可以去掉已經(jīng)訓(xùn)練好的人臉年齡識別網(wǎng)絡(luò)CNN的最后一層或幾層，換成所需要的分類層，前面層的網(wǎng)絡(luò)參數(shù)直接使用為初始化參數(shù)，修改層的網(wǎng)絡(luò)參數(shù)隨機初始化，再利用人臉性別分類的正負(fù)樣本圖片進行訓(xùn)練，得到人臉性別識別網(wǎng)絡(luò)，這種方法就叫做有監(jiān)督預(yù)訓(xùn)練。這種方式可以很好地解決小樣本數(shù)據(jù)無法訓(xùn)練深層CNN網(wǎng)絡(luò)的問題，我們都知道小樣本數(shù)據(jù)訓(xùn)練很容易造成網(wǎng)絡(luò)過擬合，但是在大樣本訓(xùn)練后利用其參數(shù)初始化網(wǎng)絡(luò)可以很好地訓(xùn)練小樣本，這解決了小樣本訓(xùn)練的難題。
這篇文章最大的亮點就是采用了這種思想，ILSVRC樣本集上用于圖片分類的含標(biāo)注類別的訓(xùn)練集有1millon之多，總共含有1000類；而PASCAL VOC 2007樣本集上用于物體檢測的含標(biāo)注類別和位置信息的訓(xùn)練集只有10k，總共含有20類，直接用這部分?jǐn)?shù)據(jù)訓(xùn)練容易造成過擬合，因此文中利用ILSVRC2012的訓(xùn)練集先進行有監(jiān)督預(yù)訓(xùn)練。

ILSVRC 2012與PASCAL VOC 2007數(shù)據(jù)集有冗余嗎？

即使圖像分類與目標(biāo)檢測任務(wù)本質(zhì)上是不同的，理論上應(yīng)該不會出現(xiàn)數(shù)據(jù)集冗余問題，但是作者還是通過兩種方式測試了PASCAL 2007測試集和ILSVRC 2012訓(xùn)練集、驗證集的重合度：第一種方式是檢查網(wǎng)絡(luò)相冊IDs，4952個PASCAL 2007測試集一共出現(xiàn)了31張重復(fù)圖片，0.63%重復(fù)率；第二種方式是用GIST描述器匹配的方法，4952個PASCAL 2007測試集一共出現(xiàn)了38張重復(fù)圖片【包含前面31張圖片】，0.77%重復(fù)率，這說明PASCAL 2007測試集和ILSVRC 2012訓(xùn)練集、驗證集基本上不重合，沒有數(shù)據(jù)冗余問題存在。

可以不進行特定樣本下的微調(diào)嗎？可以直接采用AlexNet CNN網(wǎng)絡(luò)的特征進行SVM訓(xùn)練嗎？

文中設(shè)計了沒有進行微調(diào)的對比實驗，分別就AlexNet CNN網(wǎng)絡(luò)的pool5、fc6、fc7層進行特征提取，輸入SVM進行訓(xùn)練，這相當(dāng)于把AlexNet CNN網(wǎng)絡(luò)當(dāng)做萬精油使用，類似HOG、SIFT等做特征提取一樣，不針對特征任務(wù)。實驗結(jié)果發(fā)現(xiàn)f6層提取的特征比f7層的mAP還高，pool5層提取的特征與f6、f7層相比mAP差不多；
在PASCAL VOC 2007數(shù)據(jù)集上采取了微調(diào)后fc6、fc7層特征較pool5層特征用于SVM訓(xùn)練提升mAP十分明顯；
由此作者得出結(jié)論：不針對特定任務(wù)進行微調(diào)，而將CNN當(dāng)成特征提取器，pool5層得到的特征是基礎(chǔ)特征，類似于HOG、SIFT，類似于只學(xué)習(xí)到了人臉共性特征；從fc6和fc7等全連接層中所學(xué)習(xí)到的特征是針對特征任務(wù)特定樣本的特征，類似于學(xué)習(xí)到了分類性別分類年齡的個性特征。

為什么微調(diào)時和訓(xùn)練SVM時所采用的正負(fù)樣本閾值【0.5和0.3】不一致？

微調(diào)階段是由于CNN對小樣本容易過擬合，需要大量訓(xùn)練數(shù)據(jù)，故對IoU限制寬松：Ground Truth+與Ground Truth相交IoU>0.5的建議框為正樣本，否則為負(fù)樣本；
SVM這種機制是由于其適用于小樣本訓(xùn)練，故對樣本IoU限制嚴(yán)格：Ground Truth為正樣本，與Ground Truth相交IoU＜0.3的建議框為負(fù)樣本。

為什么不直接采用微調(diào)后的AlexNet CNN網(wǎng)絡(luò)最后一層SoftMax進行21分類【20類+背景】？

因為微調(diào)時和訓(xùn)練SVM時所采用的正負(fù)樣本閾值不同，微調(diào)階段正樣本定義并不強調(diào)精準(zhǔn)的位置，而SVM正樣本只有Ground Truth；并且微調(diào)階段的負(fù)樣本是隨機抽樣的，而SVM的負(fù)樣本是經(jīng)過hard negative mining方法篩選的；導(dǎo)致在采用SoftMax會使PSACAL VOC 2007測試集上mAP從54.2%降低到50.9%。

&結(jié)果怎么樣

PASCAL VOC 2010測試集上實現(xiàn)了53.7%的mAP；

PASCAL VOC 2012測試集上實現(xiàn)了53.3%的mAP；

計算Region Proposals和features平均所花時間：13s/image on a GPU；53s/image on a CPU。

&還存在什么問題

很明顯，最大的缺點是對一張圖片的處理速度慢，這是由于一張圖片中由selective search算法得出的約2k個建議框都需要經(jīng)過變形處理后由CNN前向網(wǎng)絡(luò)計算一次特征，這其中涵蓋了對一張圖片中多個重復(fù)區(qū)域的重復(fù)計算，很累贅；

知乎上有人說R-CNN網(wǎng)絡(luò)需要兩次CNN前向計算，第一次得到建議框特征給SVM分類識別，第二次對非極大值抑制后的建議框再次進行CNN前向計算獲得Pool5特征，以便對建議框進行回歸得到更精確的bounding-box，這里文中并沒有說是怎么做的，博主認(rèn)為也可能在計算2k個建議框的CNN特征時，在硬盤上保留了2k個建議框的Pool5特征，雖然這樣做只需要一次CNN前向網(wǎng)絡(luò)運算，但是耗費大量磁盤空間；

訓(xùn)練時間長，雖然文中沒有明確指出具體訓(xùn)練時間，但由于采用RoI-centric sampling【從所有圖片的所有建議框中均勻取樣】進行訓(xùn)練，那么每次都需要計算不同圖片中不同建議框CNN特征，無法共享同一張圖的CNN特征，訓(xùn)練速度很慢；

整個測試過程很復(fù)雜，要先提取建議框，之后提取每個建議框CNN特征，再用SVM分類，做非極大值抑制，最后做bounding-box回歸才能得到圖片中物體的種類以及位置信息；同樣訓(xùn)練過程也很復(fù)雜，ILSVRC 2012上預(yù)訓(xùn)練CNN，PASCAL VOC 2007上微調(diào)CNN，做20類SVM分類器的訓(xùn)練和20類bounding-box回歸器的訓(xùn)練；這些不連續(xù)過程必然涉及到特征存儲、浪費磁盤空間等問題。

再補充自己幾點總結(jié)：（1）數(shù)據(jù)總共有三個訓(xùn)練用途：CNN fine-tune、SVM training、bounding-box regression training；（2）文中作者還分析了幾種可能會對實驗結(jié)果產(chǎn)生影響的因素，建議看一看，對以后自己想問題很有幫助：三種訓(xùn)練集數(shù)量、數(shù)據(jù)集選擇、BB、RP這幾種影響因素；（3）文中作者還考慮了R-CNN和Overfeat算法的關(guān)系，并留下了如何提速R-CNN這一懸念；（4）用R-CNN來做語義分割，計算features的兩種策略：fg和full以及它們?nèi)绾芜x擇；（5）附錄中對于resized操作、Bounding-box regression、數(shù)據(jù)冗余等有詳細(xì)介紹，可以看一看；