大改Yolo框架 | 能源消耗極低的目標(biāo)檢測(cè)新框架（附論文下載）

點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)

在過(guò)去的十年中，深度神經(jīng)網(wǎng)絡(luò)(DNNs)在各種應(yīng)用中表現(xiàn)出顯著的性能。當(dāng)我們?cè)噲D解決更艱難和最新的問(wèn)題時(shí)，對(duì)計(jì)算和電力資源的需求增加已經(jīng)成為不可避免的。

Spiking neural networks(SNNs)作為第三代神經(jīng)網(wǎng)絡(luò)，由于其事件驅(qū)動(dòng)（event-driven）和低功率特性，引起了廣泛的興趣。

然而，SNN很難訓(xùn)練，主要是因?yàn)樗鼈兊纳窠?jīng)元復(fù)雜的動(dòng)力學(xué)和不可微的尖峰操作。此外，它們的應(yīng)用僅限于相對(duì)簡(jiǎn)單的任務(wù)，如圖像分類。

在今天的分享中，作者研究了SNN在一個(gè)更具挑戰(zhàn)性的回歸問(wèn)題（即對(duì)象檢測(cè))。通過(guò)深入分析，引入了兩種新的方法：channel-wise normalization和signed neuron with imbalanced threshold，這兩種方法都為深度SNN提供了快速的信息傳輸。因此，提出了第一個(gè)基于尖峰的目標(biāo)檢測(cè)模型，稱為Spiking-YOLO。

2.新框架貢獻(xiàn)

盡管SNN有很多好處，但目前僅能處理相對(duì)簡(jiǎn)單的任務(wù)，由于神經(jīng)元復(fù)雜的動(dòng)態(tài)性以及不可導(dǎo)的操作，暫時(shí)沒(méi)有一個(gè)可擴(kuò)展的訓(xùn)練方法。DNN-to-SNN是近期廣泛的SNN訓(xùn)練方法，該方法將目標(biāo)DNN轉(zhuǎn)化成SNN的中間DNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后轉(zhuǎn)成SNN并復(fù)用其訓(xùn)練的參數(shù)，在小數(shù)據(jù)集分類上能達(dá)到不錯(cuò)的性能，但是在大數(shù)據(jù)集上分類結(jié)果不太理想
論文打算使用DNN-to-SNN轉(zhuǎn)化方法將SNN應(yīng)用到更復(fù)雜的目標(biāo)檢測(cè)領(lǐng)域中，圖片分類只需要選擇分類就好，而目標(biāo)檢測(cè)則需要神經(jīng)網(wǎng)絡(luò)進(jìn)行高度準(zhǔn)確的數(shù)字預(yù)測(cè)，難很多。在深入分析后，論文實(shí)現(xiàn)YOLO的轉(zhuǎn)換主要面臨以下兩個(gè)問(wèn)題：

• 常用的SNN歸一化方法過(guò)于低效，導(dǎo)致脈沖發(fā)射頻率過(guò)低。由于SNN需要設(shè)定閾值進(jìn)行脈沖發(fā)射，所以要對(duì)權(quán)值進(jìn)行歸一化，這樣有利于閾值的設(shè)定，而常用的SNN歸一化方法在目標(biāo)檢測(cè)中顯得過(guò)于低效，后面會(huì)詳細(xì)闡述

• 在SNN領(lǐng)域，沒(méi)有高效leaky-ReLU的實(shí)現(xiàn)，因?yàn)橐獙OLO轉(zhuǎn)換為SNN，YOLO中包含大量leaky-ReLU，這是很重要的結(jié)構(gòu)，但目前還沒(méi)有高效的轉(zhuǎn)換方法

來(lái)自韓國(guó)的比較冷門或者前沿一點(diǎn)的文章，研究方向是脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Networks）與YOLO算法的融合，發(fā)現(xiàn)韓國(guó)人特別擅長(zhǎng)對(duì)YOLO，SSD等算法進(jìn)行魔改啊。

• 提出一種在深度SNN中能夠進(jìn)行快速精確信息傳輸?shù)腟piking-YOLO算法。這是第一次將深度SNN成功應(yīng)用于目標(biāo)檢測(cè)任務(wù)的工作；

• 為深度SNN開發(fā)了一種成為逐通道歸一化的精細(xì)歸一化技術(shù)。所提出的方法使得在多個(gè)神經(jīng)元中更高的發(fā)射率成為可能，這促成了快速并且精確的信息傳輸；

• 提出了一種新穎的方法，其特點(diǎn)在于具有不平衡閾值的帶符號(hào)神經(jīng)元，這些神經(jīng)元讓SNNs中的leakyReLU得以實(shí)現(xiàn)。這給深度SNN應(yīng)用于各種模型和應(yīng)用創(chuàng)造了機(jī)會(huì)。

3.新框架

Channel-wise data-based normalization

在SNN中，根據(jù)輸入的幅度產(chǎn)生脈沖序列進(jìn)行無(wú)損的內(nèi)容傳遞是極為重要的。但在固定時(shí)間，激活過(guò)度或激活不足的神經(jīng)元內(nèi)將可能導(dǎo)致內(nèi)容損失，這和臨界電壓的設(shè)置有關(guān)。設(shè)置過(guò)高，神經(jīng)元需要累積很長(zhǎng)時(shí)間的電壓才能發(fā)射脈沖，相反則會(huì)過(guò)多地發(fā)射脈沖。發(fā)射頻率通常定義為，為個(gè)timestep的脈沖發(fā)射總數(shù)，最大的發(fā)射率為100%，即每個(gè)timestep都發(fā)射脈沖：

為了防止神經(jīng)元的激活過(guò)度和激活不足，權(quán)值和臨界電壓都需要精心地選擇。為此，很多研究提出了歸一化的方法，比如常用的Layer-wise normalization(layer-norm)。該方法通過(guò)該層的最大化激活值來(lái)歸一化層的權(quán)值，如上公式， 和 為權(quán)重， 為輸出特征圖最大值。

經(jīng)過(guò)歸一化后，神經(jīng)元的輸出就歸一到 ，方便設(shè)定臨界電壓。由于最大激活值 從訓(xùn)練集得到的，所以測(cè)試集和訓(xùn)練集需要有相同的分布，但論文實(shí)驗(yàn)發(fā)現(xiàn)這種常規(guī)的歸一化方法在目標(biāo)檢測(cè)任務(wù)上會(huì)導(dǎo)致明顯的性能下降。

基于數(shù)據(jù)的逐通道歸一化

傳統(tǒng)的脈沖神經(jīng)網(wǎng)絡(luò)中，需要確保神經(jīng)元根據(jù)其輸入大小產(chǎn)生脈沖序列，其中權(quán)值和閾值電壓分別負(fù)責(zé)神經(jīng)元激活的充足度和平衡度，這會(huì)導(dǎo)致要么欠激活要么過(guò)激活，從而使信息丟失和性能不佳。

作者深入分析并證明了細(xì)粒度的通道正則化可以通過(guò)極小的激活來(lái)提高神經(jīng)元的發(fā)射率。換句話說(shuō)，非常小的激活被正確歸一化，將在更短的時(shí)間內(nèi)準(zhǔn)確地傳輸信息。文章認(rèn)為通道正則化的應(yīng)用可以帶來(lái)更快更準(zhǔn)確的深度SNN，這將使深度SNN應(yīng)用于更高級(jí)機(jī)器學(xué)習(xí)問(wèn)題成為可能。

Signed neuron featuring imbalanced threshold

具有不平衡閾值特征的帶符號(hào)神經(jīng)元

引入了一種具有不平衡閾值（即IBT）的帶符號(hào)神經(jīng)元，它不僅可以對(duì)正負(fù)激活進(jìn)行解釋，還可以對(duì)leakyReLU負(fù)激活值區(qū)域的滲漏項(xiàng)進(jìn)行補(bǔ)償。如下圖所示，作者增加了另外一個(gè)Vth負(fù)責(zé)對(duì)負(fù)激活響應(yīng)。

4.實(shí)驗(yàn)結(jié)果與評(píng)估

作者使用Tiny YOLO的實(shí)時(shí)目標(biāo)檢測(cè)模型，在脈沖神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)最大池化層和BN層。模型在PASCAL VOC2007和2012上訓(xùn)練，在PASCAL VOC2007上測(cè)試。所有代碼基于Tensorflow Eager框架，在V100的GPU上進(jìn)行實(shí)驗(yàn)。

文章通過(guò)實(shí)驗(yàn)的設(shè)計(jì)驗(yàn)證并分析了使用通道正則化和有符號(hào)神經(jīng)元的IBT存在的用處。如下圖所示，當(dāng)通道正則化和有符號(hào)神經(jīng)元都使用時(shí)，脈沖-YOLO能夠達(dá)到51.61%的mAP，這個(gè)性能比較高了。

此外，逐層正則化的mAP僅僅46.98%，而通道正則化優(yōu)勢(shì)明顯，收斂速度也更快。如果不使用本文提出的這兩種方法，Spiking-YOLO無(wú)法檢測(cè)目標(biāo)，如果僅僅使用有符號(hào)神經(jīng)元的話，mAP僅僅7.3%，這表明有符號(hào)神經(jīng)元可以補(bǔ)償leakyReLU的不足項(xiàng)，并且在解決深度SNN中這種高數(shù)值精度問(wèn)題中起著關(guān)鍵作用。

在上圖中，作者還在兩種輸出編碼方案上進(jìn)行了額外的對(duì)比實(shí)驗(yàn)，一種基于累計(jì)Vth，一種基于脈沖數(shù)量。實(shí)驗(yàn)結(jié)果表明基于Vth的輸出編碼方案在解釋尖峰序列時(shí)將更精確，也體現(xiàn)出收斂更快的特點(diǎn)。

作者嘗試了不同的解碼方式，分別為膜電壓 和脈沖數(shù) ，由于脈沖數(shù)的余數(shù)要舍棄，這會(huì)帶來(lái)誤差和信息損失，所以基于膜電壓進(jìn)行解壓會(huì)更準(zhǔn)確。

在今天分享中，作者提出了Spiking-YOLO，第一個(gè)SNN模型，通過(guò)在non-trivial datasets、PASCALVOC和MSCO上獲得與原始DNN相似的結(jié)果來(lái)成功地執(zhí)行目標(biāo)檢測(cè)。 

我認(rèn)為，這項(xiàng)研究代表了解決深度SNN中更高級(jí)的機(jī)器學(xué)習(xí)問(wèn)題的第一步。

   
   

    下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
    
    

   
   
   
   

    在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。
   
   
   
   

    
    

   
   
   
   

    下載2：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講
   
   
   
   

    在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺(jué)。
   
   
   
   

    
    

   
   
   
   

    下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講
   
   
   
   

    在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。
   
   
   
   

    
    

   
   
交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~