APReLU：跨界應(yīng)用，用于機器故障檢測的自適應(yīng)ReLU | IEEE TIE 2020
點擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達
來源：曉飛的算法工程筆記
論文的工作屬于深度學(xué)習(xí)在工業(yè)界的應(yīng)用，借鑒計算機視覺的解決方法，針對機器故障檢測的場景提出自適應(yīng)的APReLU，對故障檢測的準(zhǔn)確率有很大的提升。論文整體思想應(yīng)該也可以應(yīng)用于計算機視覺，代碼也開源了，大家可以嘗試下
論文: Deep Residual Networks with Adaptively Parametric Rectifier Linear Units for Fault Diagnosis
論文地址：https://ieeexplore.ieee.org/document/8998530/metrics#metrics 代碼地址：https://github.com/zhao62/Adaptively-Parametric-ReLU
Introduction
? 論文討論的場景是電子設(shè)備的錯誤檢測，由于在苛刻環(huán)境下長期運行，電子設(shè)備經(jīng)常會不可避免地出現(xiàn)故障，進而造成意外和損失。而振動信號(vibration signal)通常包含由于機器故障引起脈沖和波動，可用來檢測設(shè)備故障。近期，深度學(xué)習(xí)方法也被用于電子設(shè)備的錯誤檢測中，將振動信號作為輸入，輸出當(dāng)前設(shè)備是否正常。
? 主流的分類神經(jīng)網(wǎng)絡(luò)使用一組完全相同的非線性變換來處理不同的輸入，如圖a所示，F(xiàn)、G和H代表非線性變化，代表非線性變換是否相同。對于振動信號場景而言，相同健康狀態(tài)的機器，由于當(dāng)前操作不同，反饋的振動信號的差異可能較大，很難將不同波形的歸為同一健康狀態(tài)。相反的，不同健康狀態(tài)的機器偶然會產(chǎn)生相同的振動信號，神經(jīng)網(wǎng)絡(luò)會將其映射到相近的區(qū)域，難以區(qū)分。綜上，固定的非線性變換在振動信號場景中可能會對特征學(xué)習(xí)能力帶來負面的影響，能夠自動學(xué)習(xí)并根據(jù)輸入信號使用不同的非線性變換是十分有意義的。
? 論文基于ResNet提出了改進版ResNet-APReLU，如圖b所示，根據(jù)輸入信號賦予不同的非線性變換，具體是通過插入一個類似SE(squeeze-and-excitation)模塊的子網(wǎng)來調(diào)整激活函數(shù)的斜率，能夠大幅提升故障檢測的準(zhǔn)確率。由于論文的場景比較特殊，所以主要學(xué)習(xí)論文提出的方法，至于應(yīng)用場景相關(guān)的部分和實驗部分，就簡單地帶過就好了。
Fundamentals of classical ResNets
? 論文以ResNet為基礎(chǔ)，ResNet的核心結(jié)構(gòu)如圖2a所示，相信各位都很清楚，就不再介紹了。將ResNet應(yīng)用到機器錯誤識別中，如圖2b所示，輸入振動信號，經(jīng)過網(wǎng)絡(luò)的特征提取后進行狀態(tài)識別，判斷機器是健康還是處于其它錯誤狀態(tài)中。論文的核心是通過改進ReLU進行自適應(yīng)的非線性變換，原版ReLU可公式化為：
Design of the developed ResNet-APReLU
Design of the fundamental architecture for APReLU
? APReLU集成了一個特別設(shè)計的子網(wǎng)，有點類似于SE模塊，根據(jù)輸入自適應(yīng)地預(yù)測用于非線性變換的乘法因子，結(jié)構(gòu)如圖3a所示，輸出channel-wise的ReLU參數(shù)，包含以下步驟：
用ReLU和GAP將輸入特征映射到1D向量，獲取正面特征(positive feature)的全局信息。用min(x, 0)和GAP將輸入特征映射到另一個1D向量，獲取負面特征(negative feature)的全局信息，負面信息可能包含某些有用的故障信息。GAP能夠處理信號的偏移問題，將輸入特征圖信息壓縮為兩個1D向量，分別代表正面和負面信息。 將兩個1D向量Concate到一起，進行FC-BN-ReLU-FC-BN-Sigmoid計算，兩個FC的輸出與輸入特征的維度一致，最后sigmoid輸出用于公式10的因子：
Architecture of the developed ResNet-APReLU for vibration-based gearbox fault diagnosis
? 基于APEeLU構(gòu)建新的ResBlock，如圖b所示，與原版的ResBlock基本一致，只是將ReLU替換為APReLU進行自適應(yīng)非線性激活。APReLU的輸出大小跟輸入大小一樣，可以簡單地嵌入到各種網(wǎng)絡(luò)中。完整的網(wǎng)絡(luò)結(jié)構(gòu)如圖c所示，最后輸出多個機器狀態(tài)的預(yù)測，計算交叉熵損失，進行梯度下降學(xué)習(xí)。
Experimental Results
? 從結(jié)果來看，針對機器故障的場景，論文提出的方法是十分有效的。
Conclustion
? 論文的工作屬于深度學(xué)習(xí)在工業(yè)界的應(yīng)用，借鑒計算機視覺的解決方法，針對機器故障檢測的場景提出自適應(yīng)的APReLU，對故障檢測的準(zhǔn)確率有很大的提升。論文整體思想應(yīng)該也可以應(yīng)用于計算機視覺，代碼也開源了，大家可以嘗試下。
?
下載1：動手學(xué)深度學(xué)習(xí)
在「AI算法與圖像處理」公眾號后臺回復(fù)：動手學(xué)深度學(xué)習(xí)，即可下載547頁《動手學(xué)深度學(xué)習(xí)》電子書和源碼。該書是面向中文讀者的能運行、可討論的深度學(xué)習(xí)教科書，它將文字、公式、圖像、代碼和運行結(jié)果結(jié)合在一起。本書將全面介紹深度學(xué)習(xí)從模型構(gòu)造到模型訓(xùn)練，以及它們在計算機視覺和自然語言處理中的應(yīng)用。
個人微信（如果沒有備注不拉群！） 請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
