基于CNN的區(qū)域特定多尺度特征提取的兩階段停車位檢測
0. 引言
在自動駕駛系統(tǒng)的設(shè)計中，停車位的檢測一直是一項具有挑戰(zhàn)性的任務(wù)。本文將帶大家精讀2021 CVPR的論文"基于CNN的區(qū)域特定多尺度特征提取的兩階段停車位檢測"，該論文闡述了一種全新的兩階段停車位檢測方法，使用區(qū)域特定的多尺度特征提取，具有開創(chuàng)性的價值。
1. 論文信息
標題：CNN-based Two-Stage Parking Slot Detection Using Region-Specific Multi-Scale Feature Extraction
作者：Quang Huy Bui and Jae Kyu Suhr
來源：2021 Computer Vision and Pattern Recognition(CVPR)
原文鏈接：https://arxiv.org/abs/2108.06185
2. 摘要
基于深度學(xué)習(xí)的對象檢測方法可以分為一階段和兩階段方法。雖然眾所周知，兩階段方法在一般對象檢測中優(yōu)于一階段方法，但是到目前為止，它們在停車位檢測中表現(xiàn)相似。
我們認為這是因為兩階段方法還沒有被充分地專用于停車位檢測。因此，本文提出了一個高度專業(yè)化的兩階段停車位檢測器，它使用區(qū)域特定的多尺度特征提取。
在第一階段，所提出的方法通過估計停車位的中心、長度和方向來找到停車位的入口作為區(qū)域提議。
該方法的第二階段指定包含所需信息最多的特定區(qū)域，并從中提取特征。也就是說，僅從最包含位置和方向信息的特定區(qū)域中單獨提取位置和方向的特征。
此外，多分辨率特征地圖被用來提高定位和分類的準確性。一個高分辨率特征圖用于提取詳細信息(位置和方向)，而另一個低分辨率特征圖用于提取語義信息(類型和占用)。
在實驗中，使用兩個大規(guī)模的公共停車位檢測數(shù)據(jù)集對所提出的方法進行了定量評估，其性能優(yōu)于先前的方法，包括一階段和兩階段方法。
3. 算法分析
如圖1所示為作者提出的利用區(qū)域特定的多尺度特征提取的兩階段方法的總體架構(gòu)，輸入的AVM圖像被插入到主干網(wǎng)絡(luò)中用于特征圖提取。
該算法在第一階段使用區(qū)域建議網(wǎng)絡(luò)(RPN)粗略定位停車位入口，在第二階段使用停車位檢測網(wǎng)絡(luò)(SDN)和停車位分類網(wǎng)絡(luò)(SCN)精確估計停車位的位置和屬性。
在以前的停車線檢測中，基本都是從特征圖中提取整個區(qū)域提議的特征，或者從輸入圖像中裁剪區(qū)域提議的整個區(qū)域。而這一框架僅從包含相應(yīng)信息最多的特定區(qū)域中，單獨提取用于預(yù)測停車位的位置和方向的特征。該論文的貢獻可以概括為如下幾點：
(1) 提出了一種將兩階段通用目標檢測應(yīng)用于停車位檢測任務(wù)的有效方法；
(2) 提出了區(qū)域特定的多尺度特征提取，提高了檢測性能和定位精度；
(3) 使用兩個大規(guī)模公共數(shù)據(jù)集給出了定量評估結(jié)果，并表明所提出的方法給出了最先進的性能。
3.1 區(qū)域提案網(wǎng)絡(luò)
與以前使用平行四邊形、四邊形或旋轉(zhuǎn)矩形捕獲整個停車位的方法不同，作者所提出的方法將停車位入口生成為區(qū)域建議。這是因為AVM圖像通常不包括整個停車槽，而停車槽入口本身包含足夠的信息供汽車開始停車，如圖2所示為算法提出的RPN網(wǎng)絡(luò)信息。
在圖2所示的RPN中，紅色實線和箭頭分別指示生成的停車位入口和停車位的方向。因為RPN可以為單個停車位找到多個入口，所以基于兩個停車位不能重疊的事實，利用非最大抑制(NMS)來移除重復(fù)檢測。如果兩個入口的中心位置非常接近，則認為這兩個入口是重復(fù)的。
3.2 特定區(qū)域多尺度特征提取
在將停車位入口生成為區(qū)域提議之后，算法從生成的區(qū)域提議指定的感興趣區(qū)域(ROI)中提取特征。作者巧妙地考慮到了停車位在AVM圖像中可以以任意方向出現(xiàn)，所以不同于用直立矩形和平行四邊形作為ROI進行特征提取的方法，作者提出了一種使用多尺度特征圖的區(qū)域特定感興趣區(qū)域設(shè)計，稱為區(qū)域特定多尺度特征提取，其原理如圖3所示。同時，圖4給出了所提出的特定區(qū)域多尺度特征提取的完整操作。
(a)基于平行四邊形的ROI指定；(b)-(d)區(qū)域特定的ROI指定，(b)顯示位置區(qū)域，(c)顯示方向區(qū)域，(d)顯示類型和占用區(qū)域。
3.3 停車位檢測和分類網(wǎng)絡(luò)
利用所提出的特定區(qū)域多尺度特征提取所獲得的特征，SDN檢測停車位的精確位置和方向，而SCN對其類型和占用情況進行分類。圖5分別給出了SDN和SCN的詳細描述。
4. 實驗
作者使用兩個大規(guī)模公共停車位檢測數(shù)據(jù)集對所提出的方法進行了定量評估:首爾國立大學(xué)數(shù)據(jù)集(SNU)和同濟停車位數(shù)據(jù)集(PS2.0),如表1所示為兩個數(shù)據(jù)集上的評估總結(jié)。
表1 SNU和PS2.0數(shù)據(jù)集上的評估總結(jié)
4.1 SNU數(shù)據(jù)集上的性能
表2是作者提出的方法和之前兩種最先進的一步和兩步方法的檢測性能對比，其中一階段法比兩階段法表現(xiàn)稍好，這主要是因為兩階段方法還沒有被充分地專用于停車位檢測。
同時，結(jié)果表明兩階段方法在寬松標準下比其他方法大約好3%到5%,在嚴格標準下比其他方法好11%到13%，說明如果兩階段方法進行合理設(shè)計，那么是可以勝過一階段方法的。此外，當(dāng)收緊標準時，作者提出的方法的性能僅下降約12%，而其他方法的性能急劇下降約20%。
表2 SNU數(shù)據(jù)集上的停車線檢測性能對比
表3給出了三種方法的詳細定位精度，表明作者所提出的方法的位置和方向誤差都小于其他人。在自主停車系統(tǒng)中，定位精度非常重要，兩階段方法展示了更優(yōu)秀的位置精度。
表3 SUN數(shù)據(jù)集上的停車線位置精度對比
表4給出了消融實驗的結(jié)果，實驗集中在區(qū)域特定的感興趣區(qū)域和多尺度特征圖上進行。消融實驗表明，作者所提出的區(qū)域特定的多尺度特征提取提高了停車位檢測性能。
表4 消融實驗
圖6展示了包含在SNU數(shù)據(jù)集的測試圖像中的各種停車情況下的停車位檢測結(jié)果，結(jié)果顯示各種停車線都可以被準確穩(wěn)定地檢測到。
圖6 SNU數(shù)據(jù)集測試圖像中的停車位檢測結(jié)果
綠線、紅線和藍線分別表示垂直、平行和傾斜的停車位；實線和虛線分別表示空閑和占用的停車位。
4.2 PS2.0數(shù)據(jù)集上的性能
表5顯示了PS2.0數(shù)據(jù)集上停車位檢測性能的比較，作者所提出的方法在PS2.0數(shù)據(jù)集顯示出比其他方法稍高的停車位檢測性能。
表5 PS2.0數(shù)據(jù)集上停車位檢測性能的比較
在PS2.0數(shù)據(jù)集上的差距不像在SNU數(shù)據(jù)集上那樣明顯，因為幾乎所有的方法在該數(shù)據(jù)集上都已經(jīng)達到了非常高的檢測性能。這主要是由于PS2.0數(shù)據(jù)集的訓(xùn)練圖像和測試圖像之間的相似性。這種相似性使得很難用來比較不同方法的性能。表6比較了PS2.0數(shù)據(jù)集上的類型和占用分類性能。
表6 PS2.0數(shù)據(jù)集上停車位分類性能的比較
圖7給出了在PS2.0數(shù)據(jù)集的測試圖像中包含的各種停車情況下的停車位檢測結(jié)果，這也表明了作者所提出的方法能夠恰當(dāng)?shù)靥幚戆赑S2.0數(shù)據(jù)集中的各種情況。
圖7 在PS2.0數(shù)據(jù)集的測試圖像中，給出了所提方法的停車位檢測結(jié)果
綠線、紅線和藍線分別表示垂直、平行和傾斜的停車位；實線和虛線分別表示空閑和占用的停車位。
5. 結(jié)論
在論文"CNN-based Two-Stage Parking Slot Detection Using Region-Specific Multi-Scale Feature Extraction"中，作者提出了一種新的高度專業(yè)化的兩階段停車位檢測方法，該方法在第一階段尋找停車位入口作為區(qū)域建議，并在第二階段從多尺度特征地圖中提取區(qū)域特定特征以精確預(yù)測停車位的位置和屬性。
最后使用兩個大規(guī)模公共停車位檢測數(shù)據(jù)集對該方法進行了定量評估，其檢測性能和定位精度均優(yōu)于以往方法。這一結(jié)果表明，如果充分專門化，兩階段方法優(yōu)于一階段方法，與一般對象檢測的情況相同，這一方法對后續(xù)的停車線檢測方法具有主要的借鑒意義。此外，作者也提到可以使用濾波器修剪和權(quán)重量化來優(yōu)化網(wǎng)絡(luò)，以在實時嵌入式系統(tǒng)中實現(xiàn)，讀者也可將其作為一個研究方向。
