基于卷積神經(jīng)網(wǎng)絡(luò)的霧天智能停車位檢測:一種新方法

0. 引言

在自動(dòng)駕駛系統(tǒng)的設(shè)計(jì)中，惡劣天氣的影響一直為研究人員所苦惱，而霧天停車位的檢測又是最難的幾項(xiàng)任務(wù)之一。本文將帶大家精讀2021 CVPR的論文"基于卷積神經(jīng)網(wǎng)絡(luò)的霧天智能停車位檢測:一種新方法"，該論文闡述了一種基于CNN網(wǎng)絡(luò)的停車位檢測方法，適用于霧天環(huán)境，對(duì)于惡劣天氣下的自動(dòng)駕駛系統(tǒng)設(shè)計(jì)具有重要的借鑒和指導(dǎo)意義。

1. 論文信息

標(biāo)題：Smart Parking Space Detection under Hazy conditions using Convolutional Neural Networks: A Novel Approach

作者：Gaurav Satyanath, Jajati Keshari Sahoo, Rajendra Kumar Roul

來源：2021 Computer Vision and Pattern Recognition(CVPR)

原文鏈接：https://arxiv.org/abs/2201.05858

2. 摘要

與城市化相結(jié)合的有限的城市停車空間使得智能停車系統(tǒng)的開發(fā)成為必要，該智能停車系統(tǒng)可以將停車位的可用性傳達(dá)給最終用戶。

為此，已經(jīng)提出了使用卷積神經(jīng)網(wǎng)絡(luò)的各種基于深度學(xué)習(xí)的解決方案用于停車位占用檢測。盡管這些方法對(duì)于部分障礙和光照條件是魯棒的，但是發(fā)現(xiàn)它們的性能在存在薄霧條件下會(huì)降級(jí)。

在這個(gè)方向上，本文研究了去霧網(wǎng)絡(luò)的使用，它改善了霧天條件下停車位占用分類器的性能。

此外，還提出了去霧網(wǎng)絡(luò)的訓(xùn)練程序，以最大限度地提高系統(tǒng)在有霧和無霧條件下的性能。該提議的系統(tǒng)可作為現(xiàn)有智能停車系統(tǒng)的一部分進(jìn)行部署，其中有限數(shù)量的攝像機(jī)用于監(jiān)控?cái)?shù)百個(gè)停車位。

為了驗(yàn)證我們的方法，我們從現(xiàn)實(shí)世界的任務(wù)驅(qū)動(dòng)測試集resident-β數(shù)據(jù)集開發(fā)了一個(gè)定制的模糊停車系統(tǒng)數(shù)據(jù)集。

在CNRPark-EXT和模糊停車系統(tǒng)數(shù)據(jù)集上，針對(duì)現(xiàn)有的最先進(jìn)的停車位檢測器對(duì)所提出的方法進(jìn)行了測試。實(shí)驗(yàn)結(jié)果表明，該方法在霧天停車系統(tǒng)數(shù)據(jù)集上的準(zhǔn)確率有顯著提高。

3. 算法分析

在人口密集的地區(qū)和靠近工業(yè)的地區(qū)，大氣被煙霧、灰塵和其他顆粒污染，大大降低了能見度。此外，在降雪和降雨期間，能見度受到影響。因此，在霧天條件下檢測停車位占用是有挑戰(zhàn)性的。而目前所有基于視覺的方法都不適用于這種模糊條件，并且它們的性能在這種情況下在很大程度上降低。

在這個(gè)方向上，作者所提出的工作集中于提高基于視覺的停車位占用檢測在霧天和非霧天條件下的準(zhǔn)確性，并且是第一個(gè)解決朦朧條件下停車位占用檢測問題的工作，具有如下貢獻(xiàn)：

(1) 提出了一種基于視覺的停車位占用檢測系統(tǒng)，該系統(tǒng)由以下兩個(gè)網(wǎng)絡(luò)串聯(lián)組成：端到端去霧網(wǎng)絡(luò)和停車位分類器(CNN)。對(duì)于去霧網(wǎng)絡(luò)，遵循一體化去霧網(wǎng)絡(luò)(AOD網(wǎng))架構(gòu)。對(duì)于停車位占用分類器，遵循mAlexnet 架構(gòu)。此外，該系統(tǒng)可作為現(xiàn)有智能停車系統(tǒng)的一部分進(jìn)行部署，并可擴(kuò)展至物聯(lián)網(wǎng)設(shè)置。

(2) 探索了各種訓(xùn)練程序，以在有霧和無霧條件下最大化系統(tǒng)的準(zhǔn)確性。

(3)引入了一個(gè)定制的模糊停車系統(tǒng)數(shù)據(jù)集，該數(shù)據(jù)集由從resident-β數(shù)據(jù)集的RTTS(真實(shí)世界任務(wù)驅(qū)動(dòng)測試集)子集提取的5010個(gè)真實(shí)世界模糊的已占用和未占用停車塊組成。

實(shí)驗(yàn)結(jié)果表明，去霧網(wǎng)絡(luò)的使用顯著提高了模糊停車系統(tǒng)數(shù)據(jù)集上的停車位分類精度(約10±15%)。

3.1 提議系統(tǒng)

作者提出的去霧網(wǎng)絡(luò)可以以兩種不同的方式使用。

在第一種情況下，從攝像機(jī)捕獲的圖像被饋送到去霧網(wǎng)絡(luò)。然后，去霧輸出被分割成單獨(dú)的停車位，并使用CNN進(jìn)行分類。

在第二種情況下，從攝像機(jī)捕獲的圖像首先被分割成停車位，然后每個(gè)停車位被饋送到去霧網(wǎng)絡(luò)，隨后使用CNN進(jìn)行分類處理。

在計(jì)算上，前一種情況更有效，因?yàn)樗鼘?duì)圖像中的所有停車位使用一次去霧網(wǎng)絡(luò)。相比之下，后一種情況對(duì)每個(gè)停車位使用去霧網(wǎng)絡(luò)。然而，后一種情況使得能夠?qū)⑷レF網(wǎng)絡(luò)和分類器作為單個(gè)流水線來聯(lián)合優(yōu)化，這可以用于在有霧的條件下實(shí)現(xiàn)更高的精度。

在原文中，作者采用第二種情況進(jìn)行實(shí)驗(yàn)工作。同時(shí)，考慮到系統(tǒng)的計(jì)算可行性，作者開發(fā)了分類器和去霧網(wǎng)絡(luò)。原文所提出的系統(tǒng)包括如下五個(gè)階段：

(1) 使用攝像機(jī)捕獲停車場的圖像；

(2) 然后使用預(yù)定的掩模從每個(gè)圖像中提取停車空位的部分。每個(gè)分割的圖像被調(diào)整大小為224x224；

(3) 每個(gè)停車位通過去霧網(wǎng)絡(luò)；

(4) 使用CNN確定停車位占用情況；

(5)最后匯總所有分類結(jié)果。

圖1所示是作者所提出的提議方法的原理。

圖1 提議方法的原理

下面描述在原文中，CNN如何用于停車位分類過程，以及去霧網(wǎng)絡(luò)如何在提議的模型中使用。

3.2 停車位分類

對(duì)于停車位分類，提議系統(tǒng)遵循專為二進(jìn)制分類任務(wù)而構(gòu)建mAlexnet。它在計(jì)算上更便宜，并且被發(fā)現(xiàn)對(duì)于二進(jìn)制分類任務(wù)達(dá)到類似于Alexnet的精度。mAlexnet由三個(gè)卷積層和兩個(gè)全連接層組成，每個(gè)卷積層之后是ReLU激活和最大池化層，全連接層FC4和FC5之后分別是ReLU和SoftMax層。如表1所示是作者提出的提議方法的mAlexnet網(wǎng)絡(luò)結(jié)構(gòu)。

表1 提議方法中使用的修改的mAlexnet架構(gòu)

3.3 去霧網(wǎng)絡(luò)

提議系統(tǒng)遵循AOD網(wǎng)絡(luò)，并且重寫了散射方程的所有參數(shù)，改寫如下：

其中b是恒定偏差，默認(rèn)值為1。通過將t(x)和A合并到單個(gè)參數(shù)K(x)中，在給定輸入圖像I(x)的情況下，訓(xùn)練稱為K估計(jì)模塊的CNN架構(gòu)來學(xué)習(xí)參數(shù)K(x)。它由五個(gè)卷積層組成并組合不同層的特征，以補(bǔ)償卷積過程中的信息損失，其具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 K估計(jì)模塊的網(wǎng)絡(luò)架構(gòu)

其中，"concat1"結(jié)合了"conv1"和"conv2"的特性。"concat2"結(jié)合了"conv1"、"conv2"和"conv3"的特性。"concat3"結(jié)合了"conv1"、"conv2"、"conv3"和"conv4"的特性。每個(gè)卷積層之后是ReLU激活層。一旦估計(jì)了K(x)，就可以獲得清晰的圖像。

此外，作者提到，AOD網(wǎng)絡(luò)比其他去霧網(wǎng)絡(luò)具有更低的平均運(yùn)行時(shí)間。考慮到系統(tǒng)的計(jì)算限制，AOD網(wǎng)絡(luò)是理想的選擇。

4. 實(shí)驗(yàn)分析

作者首先介紹了幾種不同的用于評(píng)估的停車數(shù)據(jù)集，包括CNRPark,CNRPark-EXT以及PKLot數(shù)據(jù)集，表2所示是幾種數(shù)據(jù)集的詳細(xì)信息。

表2 CNRPark，CNRPark-EXT和PKLot數(shù)據(jù)集的詳細(xì)信息

同時(shí)，為了訓(xùn)練去霧網(wǎng)絡(luò)，作者所提出的系統(tǒng)使用resident-β數(shù)據(jù)集的戶外訓(xùn)練集(OTS)。OTS數(shù)據(jù)集由72，135張合成室外霧霾圖像組成，這些圖像是由2061張不同非霧霾室外圖像合成。

此外，為了進(jìn)行模糊停車訓(xùn)練。作者所提出的系統(tǒng)使用resident-β數(shù)據(jù)集的實(shí)時(shí)任務(wù)驅(qū)動(dòng)測試集(RTTS)。RTTS由4322張圖片組成，這些圖片涵蓋了現(xiàn)實(shí)世界中模糊的交通和駕駛場景。每個(gè)圖像都用邊界框和對(duì)象類別進(jìn)行了注釋，如表3所示是模糊停車數(shù)據(jù)集的詳細(xì)信息。

表3 模糊停車數(shù)據(jù)集的詳細(xì)信息

對(duì)于去霧網(wǎng)絡(luò)，作者探索了去霧網(wǎng)絡(luò)的替代訓(xùn)練方法，以提高系統(tǒng)在非模糊圖像上的性能，具體如下:

(1) 在OTS數(shù)據(jù)集的模糊圖像上訓(xùn)練AOD網(wǎng)絡(luò)，隨后是停車位分類器。

(2) AOD網(wǎng)絡(luò)在OTS數(shù)據(jù)集的模糊和清晰(非模糊)圖像上訓(xùn)練，隨后是停車位分類器。

(3) AOD網(wǎng)絡(luò)在OTS數(shù)據(jù)集的模糊和清晰(非模糊)圖像上訓(xùn)練，使用修改的損失函數(shù)并傳遞給停車位分類器。

如表4所示是作者提出的幾種模型在數(shù)據(jù)集上的精度對(duì)比，在CNRPark-EXT測試集上，改進(jìn)mAlexnet模型在非霧霾條件下表現(xiàn)非常好，達(dá)到98.51%的準(zhǔn)確率。然而，它在霧天條件下表現(xiàn)不佳，在霧天停車系統(tǒng)測試集上達(dá)到74.41%的準(zhǔn)確率。相比之下，AOD+mAlexnet模型實(shí)現(xiàn)了超過10-15%的準(zhǔn)確度的顯著增益，而在CNRPark- EXT測試集上的準(zhǔn)確度略微下降了1-3%。

表4 模糊停車系統(tǒng)和CNRPark-EXT的模型精度對(duì)比

表5所示是模型的平均運(yùn)行時(shí)間，AOD比其他最先進(jìn)的去霧網(wǎng)絡(luò)至少快2.5倍。

表5 最新去霧網(wǎng)絡(luò)的平均運(yùn)行時(shí)間

表6中，作者比較了AOD和mAlexnet及改進(jìn)的mAlexnet、Ale的平均運(yùn)行時(shí)間。改進(jìn)的mAlexnet和現(xiàn)有的mAlexnet相比具有緊湊的特性，且速度比Alexnet快20倍，同時(shí)在停車位分類上達(dá)到類似的精度，使其成為實(shí)時(shí)應(yīng)用的理想選擇。通過使用去霧網(wǎng)絡(luò)，作者所提出的架構(gòu)的平均運(yùn)行時(shí)間顯著高于mAlexnet架構(gòu)。

表6 提議系統(tǒng)的平均運(yùn)行時(shí)間

5. 結(jié)論

在論文"Smart Parking Space Detection under Hazy conditions using Convolutional Neural Networks: A Novel Approach"中，作者提出了一種對(duì)霧天環(huán)境具有魯棒性的停車位檢測模型。系統(tǒng)由兩部分組成：去霧網(wǎng)絡(luò)和使用CNN的停車位分類器。該系統(tǒng)在在CNRPark和CNRPark-EXT數(shù)據(jù)集上實(shí)現(xiàn)了更高的分類精度。

此外，作者提出它們的工作可以通過使用量化技術(shù)來擴(kuò)展，進(jìn)而減少系統(tǒng)的運(yùn)行時(shí)間，對(duì)于后續(xù)研究具有廣泛的借鑒意義。