目標(biāo)檢測(cè)SpineNet
這篇在2019年12月10日由谷歌發(fā)表的新型神經(jīng)網(wǎng)絡(luò)框架闖入大眾的視野，文章提出相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在中間層總會(huì)進(jìn)行各種卷積操作來(lái)進(jìn)行一定的特征提取。然而在提取的過(guò)程中，總會(huì)出現(xiàn)部分的特征損失（卷積后像素降低導(dǎo)致）。這或許對(duì)于分類來(lái)說(shuō)無(wú)關(guān)痛癢，但對(duì)于例如物體識(shí)別這種同時(shí)兼具識(shí)別和定位的場(chǎng)景時(shí)往往有可能會(huì)出現(xiàn)效果不佳的情況。文章提出通過(guò)在分類任務(wù)的骨干模型設(shè)計(jì)中采用（decoder network）來(lái)解決問(wèn)題，當(dāng)然就是采用SpineNet來(lái)進(jìn)行。在COCO上的一級(jí)目標(biāo)檢測(cè)對(duì)比ResNet-FPN不僅AP上提高了6%并且減少了60%的算力需求。并且SpineNet可以轉(zhuǎn)換為分類任務(wù)模型，在iNaturalist細(xì)粒度數(shù)據(jù)集上相較于之前的第一名整整提高了6%的精確度。
??正常情況下我們都知道如果對(duì)于一張圖片進(jìn)行采樣越底層的保留的細(xì)節(jié)信息越多，越頂層保留了抽象維度的信息越多。簡(jiǎn)單的說(shuō)底層可以提取更多的小物件的細(xì)節(jié)特征，但是與此同時(shí)幾乎沒(méi)有位置信息。作者給出了兩個(gè)解決思路：首先是對(duì)于特征圖的中間層的尺度規(guī)模是可以隨時(shí)擴(kuò)大和縮小的，以便隨著模型的深度增加也能保證一定的空間信息。其次兩個(gè)不同特征層也是可以進(jìn)行跨尺度的鏈接，來(lái)保證多尺度的特征融合。下圖表示作者觀點(diǎn)
??同時(shí)作者表示雖然手頭上已經(jīng)有一個(gè)簡(jiǎn)單的架構(gòu)模型，但是為了避免手動(dòng)設(shè)計(jì)篩選架構(gòu)。所以干脆直接把架構(gòu)設(shè)計(jì)這件事情一起丟入神經(jīng)結(jié)構(gòu)搜索（NAS）的中來(lái)進(jìn)行學(xué)習(xí)。從而使框架和解碼模型間不再有區(qū)別，都將順從要素金字塔結(jié)構(gòu)且可視。
??以ResNet50-FPN作為基礎(chǔ)網(wǎng)絡(luò)來(lái)進(jìn)行調(diào)整我們對(duì)于物體檢測(cè)任務(wù)可以得到巨大的提升，僅進(jìn)行縮放尺度排列學(xué)習(xí)就能提高3.7%的AP，如果進(jìn)一步對(duì)模塊(e.g.residual block or bottleneck block)的選擇進(jìn)行調(diào)整還能提高2%的AP。而這種通過(guò)對(duì)于縮放尺度排列、骨干架構(gòu)的學(xué)習(xí)方式我們也將之命名為SpineNet。 
??跨尺度融合最大的壁壘來(lái)至于兩個(gè)融合的層數(shù)分辨率和維度很可能完全不同，這個(gè)時(shí)候就需要新的方案來(lái)解決這個(gè)問(wèn)題，如下圖：
??通過(guò)一個(gè)執(zhí)行空間重采樣的過(guò)程，在第一個(gè)1 * 1的卷積上引入了一個(gè)α（默認(rèn)值為0.5）來(lái)對(duì)維度進(jìn)行控制。之后進(jìn)入空間重采樣區(qū)，對(duì)于下層高分辨的采用3 * 3步長(zhǎng)為2的卷積順帶必要的時(shí)候可以進(jìn)行一個(gè)最大的池化操作以便后續(xù)可以下采樣和目標(biāo)維度經(jīng)行匹配，而目標(biāo)維度也可以進(jìn)行上采樣的操作。最后由1 * 1的卷積層來(lái)進(jìn)行維度的最終匹配，都成為了一個(gè)H2?W2?C2的標(biāo)準(zhǔn)層再進(jìn)行相加。
??作者對(duì)于對(duì)于ResNet-50的模型進(jìn)行不同程度的置換，以考究主干模型和尺度可變模型間的關(guān)系。通過(guò)限定不同程度的搜索空間來(lái)進(jìn)行生成不同的骨干結(jié)構(gòu)。
| stem network {L2, L3, L4, L5} | scale-permuted network {L2, L3, L4, L5, L6, L7} | |
|---|---|---|
| R50 R35-SP18 R23-SP30 R14-SP39 R0-SP53 | {3, 4, 6, 3} {2, 3, 5, 1} {2, 2, 2, 1} {1, 1, 1, 1} {2, 0, 0, 0} | {?} {1, 1, 1, 1, 1, 1} {1, 2, 4, 1, 1, 1} {2, 3, 5, 1, 1, 1} {1, 4, 6, 2, 1, 1} |
| SpineNet-49 | {2, 0, 0, 0} | {1, 2, 4, 4, 2, 2} |
?上圖表格1對(duì)應(yīng)的部分圖像在圖三查找，不難看出在全面解禁搜索空間后主干網(wǎng)絡(luò)會(huì)被逐步減少，而尺度可變網(wǎng)絡(luò)占比在逐步拉伸。并且對(duì)于塊的數(shù)量如果不再局限那么L2,3,4,5,6,7數(shù)量配比也會(huì)發(fā)生改變，最終訓(xùn)練出來(lái)的模型便是SpineNet-49。
??作者又開(kāi)始對(duì)SpineNet-49來(lái)進(jìn)一步的進(jìn)行探究，在權(quán)衡延時(shí)性能后共衍生出了三個(gè)個(gè)同家族系列的網(wǎng)絡(luò)結(jié)構(gòu)。分別命名為SpineNet-49s、SpineNet-96、SpineNet-143。其中SpineNet-49s居于和49相同的結(jié)構(gòu)，但是特征尺寸僅有原來(lái)的75%，而SpineNet-96是重復(fù)了原來(lái)一次的結(jié)構(gòu)塊來(lái)加深深度（參考下圖中間部分），SpineNet-143則是復(fù)用總計(jì)三次原來(lái)的結(jié)構(gòu)（參考下圖的右邊部分）。
??在物體檢測(cè)SpineNet有一定的效果，對(duì)比ResNet-FPN還是Mask R-NN都有一定的提高。并且可以推廣到圖像分類上。
??總結(jié)：本文對(duì)于傳統(tǒng)的骨干結(jié)構(gòu)進(jìn)行了革新。通過(guò)引入NAS多尺度融合甚至對(duì)于模塊進(jìn)行選擇和調(diào)整使得骨干模型更加合理，而無(wú)需依靠人工來(lái)進(jìn)行先驗(yàn)設(shè)計(jì)。