這幾天在看《Rich feature hierarchies for accurate object detection and semantic segmentation 》，覺(jué)得作者的科研素養(yǎng)非常棒，考慮問(wèn)題很全面而且很有邏輯性；

&創(chuàng)新點(diǎn)

采用CNN網(wǎng)絡(luò)提取圖像特征，從經(jīng)驗(yàn)驅(qū)動(dòng)的人造特征范式HOG、SIFT到數(shù)據(jù)驅(qū)動(dòng)的表示學(xué)習(xí)范式，提高特征對(duì)樣本的表示能力；

采用大樣本下有監(jiān)督預(yù)訓(xùn)練+小樣本微調(diào)的方式解決小樣本難以訓(xùn)練甚至過(guò)擬合等問(wèn)題。

&問(wèn)題是什么

近10年以來(lái)，以人工經(jīng)驗(yàn)特征為主導(dǎo)的物體檢測(cè)任務(wù)mAP【物體類別和位置的平均精度】提升緩慢；

隨著ReLu激勵(lì)函數(shù)、dropout正則化手段和大規(guī)模圖像樣本集ILSVRC的出現(xiàn)，在2012年ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽中，Hinton及他的學(xué)生采用CNN特征獲得了最高的圖像識(shí)別精確度；

上述比賽后，引發(fā)了一股“是否可以采用CNN特征來(lái)提高當(dāng)前一直停滯不前的物體檢測(cè)準(zhǔn)確率“的熱潮。

【寫給小白：一圖理解圖像分類，圖像定位，目標(biāo)檢測(cè)和實(shí)例分割】

&如何解決問(wèn)題

。測(cè)試過(guò)程

輸入一張多目標(biāo)圖像，采用selective search算法提取約2000個(gè)建議框；

先在每個(gè)建議框周圍加上16個(gè)像素值為建議框像素平均值的邊框，再直接變形為227×227的大小；

先將所有建議框像素減去該建議框像素平均值后【預(yù)處理操作】，再依次將每個(gè)227×227的建議框輸入AlexNet CNN網(wǎng)絡(luò)獲取4096維的特征【比以前的人工經(jīng)驗(yàn)特征低兩個(gè)數(shù)量級(jí)】，2000個(gè)建議框的CNN特征組合成2000×4096維矩陣；

將2000×4096維特征與20個(gè)SVM組成的權(quán)值矩陣4096×20相乘【20種分類，SVM是二分類器，則有20個(gè)SVM】，獲得2000×20維矩陣表示每個(gè)建議框是某個(gè)物體類別的得分；

分別對(duì)上述2000×20維矩陣中每一列即每一類進(jìn)行非極大值抑制剔除重疊建議框，得到該列即該類中得分最高的一些建議框；

分別用20個(gè)回歸器對(duì)上述20個(gè)類別中剩余的建議框進(jìn)行回歸操作，最終得到每個(gè)類別的修正后的得分最高的bounding box。

。解釋分析

selective search
采取過(guò)分割手段，將圖像分割成小區(qū)域，再通過(guò)顏色直方圖，梯度直方圖相近等規(guī)則進(jìn)行合并，最后生成約2000個(gè)建議框的操作，具體見(jiàn)博客。

為什么要將建議框變形為227×227？怎么做？
本文采用AlexNet CNN網(wǎng)絡(luò)進(jìn)行CNN特征提取，為了適應(yīng)AlexNet網(wǎng)絡(luò)的輸入圖像大?。?27×227，故將所有建議框變形為227×227。
那么問(wèn)題來(lái)了，如何進(jìn)行變形操作呢？作者在補(bǔ)充材料中給出了四種變形方式：

① 考慮context【圖像中context指RoI周邊像素】的各向同性變形，建議框像周圍像素?cái)U(kuò)充到227×227，若遇到圖像邊界則用建議框像素均值填充，下圖第二列；
② 不考慮context的各向同性變形，直接用建議框像素均值填充至227×227，下圖第三列；
③ 各向異性變形，簡(jiǎn)單粗暴對(duì)圖像就行縮放至227×227，下圖第四列；
④ 變形前先進(jìn)行邊界像素填充【padding】處理，即向外擴(kuò)展建議框邊界，以上三種方法中分別采用padding=0下圖第一行，padding=16下圖第二行進(jìn)行處理；

經(jīng)過(guò)作者一系列實(shí)驗(yàn)表明采用padding=16的各向異性變形即下圖第二行第三列效果最好，能使mAP提升3-5%。

CNN特征如何可視化？
文中采用了巧妙的方式將AlexNet CNN網(wǎng)絡(luò)中Pool5層特征進(jìn)行了可視化。該層的size是6×6×256，即有256種表示不同的特征，這相當(dāng)于原始227×227圖片中有256種195×195的感受視野【相當(dāng)于對(duì)227×227的輸入圖像，卷積核大小為195×195，padding=4，step=8，輸出大小(227-195+2×4)/8+1=6×6】；
文中將這些特征視為”物體檢測(cè)器”，輸入10million的Region Proposal集合，計(jì)算每種6×6特征即“物體檢測(cè)器”的激活量，之后進(jìn)行非極大值抑制【下面解釋】，最后展示出每種6×6特征即“物體檢測(cè)器”前幾個(gè)得分最高的Region Proposal，從而給出了這種6×6的特征圖表示了什么紋理、結(jié)構(gòu)，很有意思。

為什么要進(jìn)行非極大值抑制？非極大值抑制又如何操作？
先解釋什么叫IoU。如下圖所示IoU即表示(A∩B)/(A∪B)



在測(cè)試過(guò)程完成到第4步之后，獲得2000×20維矩陣表示每個(gè)建議框是某個(gè)物體類別的得分情況，此時(shí)會(huì)遇到下圖所示情況，同一個(gè)車輛目標(biāo)會(huì)被多個(gè)建議框包圍，這時(shí)需要非極大值抑制操作去除得分較低的候選框以減少重疊框。



具體怎么做呢？
① 對(duì)2000×20維矩陣中每列按從大到小進(jìn)行排序；
② 從每列最大的得分建議框開(kāi)始，分別與該列后面的得分建議框進(jìn)行IoU計(jì)算，若IoU>閾值，則剔除得分較小的建議框，否則認(rèn)為圖像中存在多個(gè)同一類物體；
③ 從每列次大的得分建議框開(kāi)始，重復(fù)步驟②；
④ 重復(fù)步驟③直到遍歷完該列所有建議框；
⑤ 遍歷完2000×20維矩陣所有列，即所有物體種類都做一遍非極大值抑制；
⑥ 最后剔除各個(gè)類別中剩余建議框得分少于該類別閾值的建議框。【文中沒(méi)有講，博主覺(jué)得有必要做】

為什么要采用回歸器？回歸器是什么有什么用？如何進(jìn)行操作？
首先要明確目標(biāo)檢測(cè)不僅是要對(duì)目標(biāo)進(jìn)行識(shí)別，還要完成定位任務(wù)，所以最終獲得的bounding-box也決定了目標(biāo)檢測(cè)的精度。
這里先解釋一下什么叫定位精度：定位精度可以用算法得出的物體檢測(cè)框與實(shí)際標(biāo)注的物體邊界框的IoU值來(lái)近似表示。

如下圖所示，綠色框?yàn)閷?shí)際標(biāo)準(zhǔn)的卡宴車輛框，即Ground Truth；黃色框?yàn)閟elective search算法得出的建議框，即Region Proposal。即使黃色框中物體被分類器識(shí)別為卡宴車輛，但是由于綠色框和黃色框IoU值并不大，所以最后的目標(biāo)檢測(cè)精度并不高。采用回歸器是為了對(duì)建議框進(jìn)行校正，使得校正后的Region Proposal與selective search更接近， 以提高最終的檢測(cè)精度。論文中采用bounding-box回歸使mAP提高了3~4%。



那么問(wèn)題來(lái)了，回歸器如何設(shè)計(jì)呢？



如上圖，黃色框口P表示建議框Region Proposal，綠色窗口G表示實(shí)際框Ground Truth，紅色窗口G^表示Region Proposal進(jìn)行回歸后的預(yù)測(cè)窗口，現(xiàn)在的目標(biāo)是找到P到G^的線性變換【當(dāng)Region Proposal與Ground Truth的IoU>0.6時(shí)可以認(rèn)為是線性變換】，使得G^與G越相近，這就相當(dāng)于一個(gè)簡(jiǎn)單的可以用最小二乘法解決的線性回歸問(wèn)題，具體往下看。
讓我們先來(lái)定義P窗口的數(shù)學(xué)表達(dá)式：Pi=(Pix，Piy，Piw，Pih)，其中(Pix，Piy)表示第一個(gè)i窗口的中心點(diǎn)坐標(biāo)，Piw，Pih分別為第i個(gè)窗口的寬和高；G窗口的數(shù)學(xué)表達(dá)式為：Gi=(Gix，Giy，Giw，Gih)；G^窗口的數(shù)學(xué)表達(dá)式為：G^i=(G^ix，G^iy，G^iw，G^ih)。以下省去i上標(biāo)。
這里定義了四種變換函數(shù)，dx(P)，dy(P)，dw(P)，dh(P)。dx(P)和dy(P)通過(guò)平移對(duì)x和y進(jìn)行變化，dw(P)和dh(P)通過(guò)縮放對(duì)w和h進(jìn)行變化，即下面四個(gè)式子所示：

G^x=Pwdx(P)+Px(1) G^y=Phdy(P)+Py(2) G^w=Pwexp(dw(P))(3) G^h=Phexp(dh(P))(4)

每一個(gè)d?(P)【*表示x，y，w，h】都是一個(gè)AlexNet CNN網(wǎng)絡(luò)Pool5層特征?5(P)的線性函數(shù)，即d?(P)=wT??5(P)，這里wT?就是所需要學(xué)習(xí)的回歸參數(shù)。損失函數(shù)即為：

Loss=argmin∑i=0N(ti??w^T??5(Pi))2+λ||w^?||2(5)

損失函數(shù)中加入正則項(xiàng)λ||w^?||2是為了避免歸回參數(shù)wT?過(guò)大。其中，回歸目標(biāo)t?由訓(xùn)練輸入對(duì)(P，G)按下式計(jì)算得來(lái)：

tx=(Gx?Px)/Pw(6) ty=(Gy?Py)/Ph(7) tw=log(Gw/Pw)(8) th=log(Gh/Ph)(9)

①構(gòu)造樣本對(duì)。為了提高每類樣本框回歸的有效性，對(duì)每類樣本都僅僅采集與Ground Truth相交IoU最大的Region Proposal，并且IoU>0.6的Region Proposal作為樣本對(duì)(Pi，Gi)，一共產(chǎn)生20對(duì)樣本對(duì)【20個(gè)類別】；
②每種類型的回歸器單獨(dú)訓(xùn)練，輸入該類型樣本對(duì)N個(gè)：{(Pi,Gi)}i=1?N以及Pii=1?N所對(duì)應(yīng)的AlexNet CNN網(wǎng)絡(luò)Pool5層特征?5(Pi)i=1?N；
③利用(6)-(9)式和輸入樣本對(duì){(Pi,Gi)}i=1?N計(jì)算ti?i=1?N；
④利用?5(Pi)i=1?N和ti?i=1?N，根據(jù)損失函數(shù)(5)進(jìn)行回歸，得到使損失函數(shù)最小的參數(shù)wT?。

。訓(xùn)練過(guò)程

有監(jiān)督預(yù)訓(xùn)練

正樣本 ILSVRC2012 負(fù)樣本 ILSVRC2012

ILSVRC樣本集上僅有圖像類別標(biāo)簽，沒(méi)有圖像物體位置標(biāo)注；
采用AlexNet CNN網(wǎng)絡(luò)進(jìn)行有監(jiān)督預(yù)訓(xùn)練，學(xué)習(xí)率=0.01；
該網(wǎng)絡(luò)輸入為227×227的ILSVRC訓(xùn)練集圖像，輸出最后一層為4096維特征->1000類的映射，訓(xùn)練的是網(wǎng)絡(luò)參數(shù)。

特定樣本下的微調(diào)

正樣本 Ground Truth+與Ground Truth相交IoU>0.5的建議框【由于Ground Truth太少了】 負(fù)樣本 與Ground Truth相交IoU≤0.5的建議框

PASCAL VOC 2007樣本集上既有圖像中物體類別標(biāo)簽，也有圖像中物體位置標(biāo)簽；
采用訓(xùn)練好的AlexNet CNN網(wǎng)絡(luò)進(jìn)行PASCAL VOC 2007樣本集下的微調(diào)，學(xué)習(xí)率=0.001【0.01/10為了在學(xué)習(xí)新東西時(shí)不至于忘記之前的記憶】；
mini-batch為32個(gè)正樣本和96個(gè)負(fù)樣本【由于正樣本太少】；
該網(wǎng)絡(luò)輸入為建議框【由selective search而來(lái)】變形后的227×227的圖像，修改了原來(lái)的1000為類別輸出，改為21維【20類+背景】輸出，訓(xùn)練的是網(wǎng)絡(luò)參數(shù)。

SVM訓(xùn)練

正樣本 Ground Truth 負(fù)樣本 與Ground Truth相交IoU＜0.3的建議框

由于SVM是二分類器，需要為每個(gè)類別訓(xùn)練單獨(dú)的SVM；
SVM訓(xùn)練時(shí)輸入正負(fù)樣本在AlexNet CNN網(wǎng)絡(luò)計(jì)算下的4096維特征，輸出為該類的得分，訓(xùn)練的是SVM權(quán)重向量；
由于負(fù)樣本太多，采用hard negative mining的方法在負(fù)樣本中選取有代表性的負(fù)樣本，該方法具體見(jiàn)。

Bounding-box regression訓(xùn)練

正樣本 與Ground Truth相交IoU最大的Region Proposal，并且IoU>0.6的Region Proposal

輸入數(shù)據(jù)為某類型樣本對(duì)N個(gè)：{(Pi,Gi)}i=1?N以及Pii=1?N所對(duì)應(yīng)的AlexNet CNN網(wǎng)絡(luò)Pool5層特征?5(Pi)i=1?N，輸出回歸后的建議框Bounding-box，訓(xùn)練的是dx(P)，dy(P)，dw(P)，dh(P)四種變換操作的權(quán)重向量。具體見(jiàn)前面分析。

。解釋分析

什么叫有監(jiān)督預(yù)訓(xùn)練？為什么要進(jìn)行有監(jiān)督預(yù)訓(xùn)練？

有監(jiān)督預(yù)訓(xùn)練也稱之為遷移學(xué)習(xí)，舉例說(shuō)明：若有大量標(biāo)注信息的人臉年齡分類的正負(fù)樣本圖片，利用樣本訓(xùn)練了CNN網(wǎng)絡(luò)用于人臉年齡識(shí)別；現(xiàn)在要通過(guò)人臉進(jìn)行性別識(shí)別，那么就可以去掉已經(jīng)訓(xùn)練好的人臉年齡識(shí)別網(wǎng)絡(luò)CNN的最后一層或幾層，換成所需要的分類層，前面層的網(wǎng)絡(luò)參數(shù)直接使用為初始化參數(shù)，修改層的網(wǎng)絡(luò)參數(shù)隨機(jī)初始化，再利用人臉性別分類的正負(fù)樣本圖片進(jìn)行訓(xùn)練，得到人臉性別識(shí)別網(wǎng)絡(luò)，這種方法就叫做有監(jiān)督預(yù)訓(xùn)練。這種方式可以很好地解決小樣本數(shù)據(jù)無(wú)法訓(xùn)練深層CNN網(wǎng)絡(luò)的問(wèn)題，我們都知道小樣本數(shù)據(jù)訓(xùn)練很容易造成網(wǎng)絡(luò)過(guò)擬合，但是在大樣本訓(xùn)練后利用其參數(shù)初始化網(wǎng)絡(luò)可以很好地訓(xùn)練小樣本，這解決了小樣本訓(xùn)練的難題。
這篇文章最大的亮點(diǎn)就是采用了這種思想，ILSVRC樣本集上用于圖片分類的含標(biāo)注類別的訓(xùn)練集有1millon之多，總共含有1000類；而PASCAL VOC 2007樣本集上用于物體檢測(cè)的含標(biāo)注類別和位置信息的訓(xùn)練集只有10k，總共含有20類，直接用這部分?jǐn)?shù)據(jù)訓(xùn)練容易造成過(guò)擬合，因此文中利用ILSVRC2012的訓(xùn)練集先進(jìn)行有監(jiān)督預(yù)訓(xùn)練。

ILSVRC 2012與PASCAL VOC 2007數(shù)據(jù)集有冗余嗎？

即使圖像分類與目標(biāo)檢測(cè)任務(wù)本質(zhì)上是不同的，理論上應(yīng)該不會(huì)出現(xiàn)數(shù)據(jù)集冗余問(wèn)題，但是作者還是通過(guò)兩種方式測(cè)試了PASCAL 2007測(cè)試集和ILSVRC 2012訓(xùn)練集、驗(yàn)證集的重合度：第一種方式是檢查網(wǎng)絡(luò)相冊(cè)IDs，4952個(gè)PASCAL 2007測(cè)試集一共出現(xiàn)了31張重復(fù)圖片，0.63%重復(fù)率；第二種方式是用GIST描述器匹配的方法，4952個(gè)PASCAL 2007測(cè)試集一共出現(xiàn)了38張重復(fù)圖片【包含前面31張圖片】，0.77%重復(fù)率，這說(shuō)明PASCAL 2007測(cè)試集和ILSVRC 2012訓(xùn)練集、驗(yàn)證集基本上不重合，沒(méi)有數(shù)據(jù)冗余問(wèn)題存在。

可以不進(jìn)行特定樣本下的微調(diào)嗎？可以直接采用AlexNet CNN網(wǎng)絡(luò)的特征進(jìn)行SVM訓(xùn)練嗎？

文中設(shè)計(jì)了沒(méi)有進(jìn)行微調(diào)的對(duì)比實(shí)驗(yàn)，分別就AlexNet CNN網(wǎng)絡(luò)的pool5、fc6、fc7層進(jìn)行特征提取，輸入SVM進(jìn)行訓(xùn)練，這相當(dāng)于把AlexNet CNN網(wǎng)絡(luò)當(dāng)做萬(wàn)精油使用，類似HOG、SIFT等做特征提取一樣，不針對(duì)特征任務(wù)。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)f6層提取的特征比f(wàn)7層的mAP還高，pool5層提取的特征與f6、f7層相比mAP差不多；
在PASCAL VOC 2007數(shù)據(jù)集上采取了微調(diào)后fc6、fc7層特征較pool5層特征用于SVM訓(xùn)練提升mAP十分明顯；
由此作者得出結(jié)論：不針對(duì)特定任務(wù)進(jìn)行微調(diào)，而將CNN當(dāng)成特征提取器，pool5層得到的特征是基礎(chǔ)特征，類似于HOG、SIFT，類似于只學(xué)習(xí)到了人臉共性特征；從fc6和fc7等全連接層中所學(xué)習(xí)到的特征是針對(duì)特征任務(wù)特定樣本的特征，類似于學(xué)習(xí)到了分類性別分類年齡的個(gè)性特征。

為什么微調(diào)時(shí)和訓(xùn)練SVM時(shí)所采用的正負(fù)樣本閾值【0.5和0.3】不一致？

微調(diào)階段是由于CNN對(duì)小樣本容易過(guò)擬合，需要大量訓(xùn)練數(shù)據(jù)，故對(duì)IoU限制寬松：Ground Truth+與Ground Truth相交IoU>0.5的建議框?yàn)檎龢颖荆駝t為負(fù)樣本；
SVM這種機(jī)制是由于其適用于小樣本訓(xùn)練，故對(duì)樣本IoU限制嚴(yán)格：Ground Truth為正樣本，與Ground Truth相交IoU＜0.3的建議框?yàn)樨?fù)樣本。

為什么不直接采用微調(diào)后的AlexNet CNN網(wǎng)絡(luò)最后一層SoftMax進(jìn)行21分類【20類+背景】？

因?yàn)槲⒄{(diào)時(shí)和訓(xùn)練SVM時(shí)所采用的正負(fù)樣本閾值不同，微調(diào)階段正樣本定義并不強(qiáng)調(diào)精準(zhǔn)的位置，而SVM正樣本只有Ground Truth；并且微調(diào)階段的負(fù)樣本是隨機(jī)抽樣的，而SVM的負(fù)樣本是經(jīng)過(guò)hard negative mining方法篩選的；導(dǎo)致在采用SoftMax會(huì)使PSACAL VOC 2007測(cè)試集上mAP從54.2%降低到50.9%。

&結(jié)果怎么樣

PASCAL VOC 2010測(cè)試集上實(shí)現(xiàn)了53.7%的mAP；

PASCAL VOC 2012測(cè)試集上實(shí)現(xiàn)了53.3%的mAP；

計(jì)算Region Proposals和features平均所花時(shí)間：13s/image on a GPU；53s/image on a CPU。

&還存在什么問(wèn)題

很明顯，最大的缺點(diǎn)是對(duì)一張圖片的處理速度慢，這是由于一張圖片中由selective search算法得出的約2k個(gè)建議框都需要經(jīng)過(guò)變形處理后由CNN前向網(wǎng)絡(luò)計(jì)算一次特征，這其中涵蓋了對(duì)一張圖片中多個(gè)重復(fù)區(qū)域的重復(fù)計(jì)算，很累贅；

知乎上有人說(shuō)R-CNN網(wǎng)絡(luò)需要兩次CNN前向計(jì)算，第一次得到建議框特征給SVM分類識(shí)別，第二次對(duì)非極大值抑制后的建議框再次進(jìn)行CNN前向計(jì)算獲得Pool5特征，以便對(duì)建議框進(jìn)行回歸得到更精確的bounding-box，這里文中并沒(méi)有說(shuō)是怎么做的，博主認(rèn)為也可能在計(jì)算2k個(gè)建議框的CNN特征時(shí)，在硬盤上保留了2k個(gè)建議框的Pool5特征，雖然這樣做只需要一次CNN前向網(wǎng)絡(luò)運(yùn)算，但是耗費(fèi)大量磁盤空間；

訓(xùn)練時(shí)間長(zhǎng)，雖然文中沒(méi)有明確指出具體訓(xùn)練時(shí)間，但由于采用RoI-centric sampling【從所有圖片的所有建議框中均勻取樣】進(jìn)行訓(xùn)練，那么每次都需要計(jì)算不同圖片中不同建議框CNN特征，無(wú)法共享同一張圖的CNN特征，訓(xùn)練速度很慢；

整個(gè)測(cè)試過(guò)程很復(fù)雜，要先提取建議框，之后提取每個(gè)建議框CNN特征，再用SVM分類，做非極大值抑制，最后做bounding-box回歸才能得到圖片中物體的種類以及位置信息；同樣訓(xùn)練過(guò)程也很復(fù)雜，ILSVRC 2012上預(yù)訓(xùn)練CNN，PASCAL VOC 2007上微調(diào)CNN，做20類SVM分類器的訓(xùn)練和20類bounding-box回歸器的訓(xùn)練；這些不連續(xù)過(guò)程必然涉及到特征存儲(chǔ)、浪費(fèi)磁盤空間等問(wèn)題。

再補(bǔ)充自己幾點(diǎn)總結(jié)：（1）數(shù)據(jù)總共有三個(gè)訓(xùn)練用途：CNN fine-tune、SVM training、bounding-box regression training；（2）文中作者還分析了幾種可能會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響的因素，建議看一看，對(duì)以后自己想問(wèn)題很有幫助：三種訓(xùn)練集數(shù)量、數(shù)據(jù)集選擇、BB、RP這幾種影響因素；（3）文中作者還考慮了R-CNN和Overfeat算法的關(guān)系，并留下了如何提速R-CNN這一懸念；（4）用R-CNN來(lái)做語(yǔ)義分割，計(jì)算features的兩種策略：fg和full以及它們?nèi)绾芜x擇；（5）附錄中對(duì)于resized操作、Bounding-box regression、數(shù)據(jù)冗余等有詳細(xì)介紹，可以看一看；