神經(jīng)網(wǎng)絡(luò)為何非激活函數(shù)不可？

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達(dá)

編者薦語

 

激活函數(shù)是向神經(jīng)網(wǎng)絡(luò)中引入非線性因素，通過激活函數(shù)神經(jīng)網(wǎng)絡(luò)就可以擬合各種曲線。激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中一個至關(guān)重要的概念，決定了某個神經(jīng)元是否被激活，判斷該神經(jīng)元獲得的信息是否有用，并決定該保留還是該去掉此神經(jīng)元。

轉(zhuǎn)載自丨AI科技評論

本文作者 Vandit Jain 對激活函數(shù)的相關(guān)知識進(jìn)行了一個較為全面的總結(jié)，重點(diǎn)聚焦于以下幾個方面：

1. 激活函數(shù)是什么，它在網(wǎng)絡(luò)中有什么作用？

2. 為什么需要激活函數(shù)而不使用線性函數(shù)？

3. 理想的激活函數(shù)有哪些特征？

4. 目前使用的各種非線性函數(shù)。

5. 在最新研究中涌現(xiàn)的值得關(guān)注的非線性激活函數(shù)。

6. 在深層神經(jīng)網(wǎng)絡(luò)中應(yīng)該使用哪些激活函數(shù)以及如何使用它們？

一、激活函數(shù)是什么？

簡單地說，激活函數(shù)就是加入到人工神經(jīng)網(wǎng)絡(luò)中的一個函數(shù)，目的在于幫助神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中學(xué)習(xí)復(fù)雜模式。

相比于人類大腦中基于神經(jīng)元的模型，激活函數(shù)是決定向下一個神經(jīng)元傳遞何種信息的單元，這也正是激活函數(shù)在人工神經(jīng)網(wǎng)絡(luò)中的作用。激活函數(shù)接收前一個單元輸出的信號，并將其轉(zhuǎn)換成某種可以被下一個單元接收的形式。

下圖總結(jié)了兩者的區(qū)別：

資料來源：斯坦福大學(xué)的cs231n 課程

二、為什么需要激活函數(shù)？

在神經(jīng)網(wǎng)絡(luò)中使用非線性激活函數(shù)的原因有很多。

1. 除了前面討論過的生物學(xué)方面的相似性外，激活函數(shù)還有助于我們根據(jù)要求將神經(jīng)元的輸出值限定在一定的范圍內(nèi)。這一點(diǎn)很重要，因?yàn)榧せ詈瘮?shù)的輸入是 W*x+b，其中 W 是單元的權(quán)重，x 是輸入值，然后加上偏置 b。如果輸出值不被限定在某個范圍內(nèi)，它可能會變得非常大，特別是在具有數(shù)百萬個參數(shù)的深層神經(jīng)網(wǎng)絡(luò)中，從而導(dǎo)致計算量過大。例如，有一些激活函數(shù)（如 softmax）對于不同的輸入值（0 或 1）會輸出特定的值。

2. 激活函數(shù)最重要的特點(diǎn)是它具有在神經(jīng)網(wǎng)絡(luò)中加入非線性的能力。為了便于理解，我們不妨考慮一下多維數(shù)據(jù)，如下圖所示： 

線性函數(shù)有三個屬性（在這個圖中分別是體重，收縮壓和年齡），它使我們得到一條貫穿三維空間的直線，但它永遠(yuǎn)也無法學(xué)會一種模式來將一個人準(zhǔn)確地區(qū)分為吸煙者和不吸煙者（以手頭上現(xiàn)有的分類問題為例）。原因很簡單，定義這個分類的模式根本不是線性的。

那在人工神經(jīng)網(wǎng)絡(luò)中，如果我們使用只有一個單元而沒有激活函數(shù)的神經(jīng)網(wǎng)絡(luò)會怎樣？這種情況下我們所得到的輸出基本上還是 W*x+b，這并不好，因?yàn)?W*x 也是 x 的一次方，因此函數(shù)仍然是線性的，基本等同于線性函數(shù)。

如果我們疊加多層呢？假如我們用一個函數(shù) f（x）來表示 n??層，那么可以得出：

然而，這還不夠復(fù)雜，特別是在計算機(jī)視覺或自然語言處理等有著復(fù)雜模式的問題中。

為了使模型能夠?qū)W習(xí)非線性模式（或者說具有更高的復(fù)雜度），特定的非線性層（激活函數(shù)）被加入其中。

三、理想的激活函數(shù)具有的特點(diǎn)

1. 梯度消失問題：神經(jīng)網(wǎng)絡(luò)是利用梯度下降過程來訓(xùn)練的。

梯度下降由基于鏈?zhǔn)揭?guī)則的反向傳播組成，鏈?zhǔn)揭?guī)則用于獲取權(quán)值變化以減少每次訓(xùn)練后的損失。考慮一個兩層網(wǎng)絡(luò)，第一層表示為 f?（x），第二層表示為 f?（x）。整個網(wǎng)絡(luò)為 o（x）= f?（f?（x））。

如果我們反過來計算權(quán)重，可以得到 o`（x）= f?（x）*f?`（x）。這里 f?（x）本身是由 Act（W?*x?+b?）組成的復(fù)合函數(shù)，其中 Act 是第 1 層之后的激活函數(shù)。再次應(yīng)用鏈?zhǔn)揭?guī)則，可以得到 f?`（x）=Act（W?*x?+b?）*x?，這意味著此結(jié)果也直接依賴于激活值?，F(xiàn)在可以看到, 這樣一個鏈?zhǔn)揭?guī)則在反向傳播時會經(jīng)過很多個層。

如果 Act（）的值介于 0 和 1 之間，那么它會乘以幾個這樣的值來計算初始層的梯度。這個過程會降低初始層的梯度值，并且這些層也無法正確學(xué)習(xí)。

換言之，因?yàn)榫W(wǎng)絡(luò)的深度和激活過程將值轉(zhuǎn)變?yōu)橼吔?0，它們的梯度逐漸消失，這就是所謂的梯度消失問題。所以我們希望理想的激活函數(shù)不要使梯度逐漸變?yōu)榱恪?/span>

2. 以零為中心：激活函數(shù)的輸出應(yīng)對稱于零，這樣梯度就不會向特定方向移動。

3. 計算成本：網(wǎng)絡(luò)的每一層都會應(yīng)用激活函數(shù)，它在深層網(wǎng)絡(luò)中需要計算數(shù)百萬次。因此，激活函數(shù)的計算成本應(yīng)該很低。

4. 可微性：如前所述，神經(jīng)網(wǎng)絡(luò)使用梯度下降過程進(jìn)行訓(xùn)練，因此模型中的層需要可微或至少部分可微。這是一個函數(shù)可以作為激活函數(shù)層的必要條件。

四、目前使用的各種非線性函數(shù)

1、Sigmoid 函數(shù)

函數(shù)如下圖所示：

這種激活函數(shù)從未在實(shí)際模型中使用，僅由于歷史原因羅列在此。Sigmoid 函數(shù)計算量大，會導(dǎo)致梯度消失問題且不以零為中心，通常在二進(jìn)制分類問題中才會使用。

• Softmax 邏輯回歸模型: softmax 邏輯回歸模型是 Sigmoid 函數(shù)在多分類問題上的一種推廣形式。與 Sigmoid 函數(shù)相似，它也產(chǎn)生 0-1 范圍內(nèi)的值，因此被用作分類模型的最后一層。

2、雙曲正切函數(shù) tanh

如圖所示：

相比于 Sigmoid 函數(shù)，它僅僅解決了以零為中心這個問題。

3、線性整流函數(shù)（Rectified Linear Unit, ReLU）

該函數(shù)又稱修正線性單元，定義為 f（x）=max（0，x）：

這是一個使用十分廣泛的激活函數(shù)，尤其是在卷積神經(jīng)網(wǎng)絡(luò)中。它計算簡單，不會飽和，不產(chǎn)生梯度消失問題，但不以零為中心。它也存在「dying ReLU」問題，即當(dāng)輸入的是負(fù)數(shù)時，輸出都會變成零，這樣就導(dǎo)致一些節(jié)點(diǎn)完全「死掉」，神經(jīng)元也不會進(jìn)行學(xué)習(xí)。

ReLU 的另一個問題是激活爆炸，因?yàn)樗纳舷奘?inf，有時會產(chǎn)生不可用的節(jié)點(diǎn)。

4、Leaky ReLU 和 Parametric ReLU 函數(shù)

函數(shù)的定義為 f（x）=max（αx，x），如下圖所示：

當(dāng)α為0.1時

這里α是一個通常設(shè)置為 0.01 的超參數(shù)。顯然，Leaky ReLU 在一定程度上解決了「dying ReLU」這一問題。請注意，如果我們將α設(shè)為 1，那么 Leaky ReLU 將成為線性函數(shù) f（x）=x，并且沒有任何用處。

因此，α的值永遠(yuǎn)不會設(shè)置為趨近于 1 的值。如果我們分別將α設(shè)為每個神經(jīng)元的超參數(shù)，則得到 Parametric ReLU 或 PReLU。

5、ReLU6 函數(shù)

ReLU6 在 x>0 的區(qū)域基本上等同于 ReLU，定義為 f（x）=min（max（0，x），6）

這有助于阻止激活增長，從而防止梯度爆炸（趨近無限時）以及正常 ReLUs 發(fā)生的其他小問題。

我們通常的想法是，為什么不把 ReLU6 和 Leaky ReLU 結(jié)合起來，以解決現(xiàn)在的激活函數(shù)的所有已知的問題。流行的 DL 框架沒有提供現(xiàn)成的這樣的激活函數(shù)，但我認(rèn)為這是一個很好的想法。

五、在最新研究中涌現(xiàn)的值得關(guān)注的非線性激活函數(shù)

1、Swish 函數(shù)

Swish 由 Ramachandran 等人在 2017 年提出，定義為 f（x）=x*sigmoid（x）。

與 ReLU 相比，盡管圖形非常相似，Swish 的性能卻要稍好一些。然而，ReLU 在 x=0 時會突然發(fā)生改變，而 Swish 與此不同，它不會在某個點(diǎn)上突然改變，這使得訓(xùn)練時 Swish 更容易收斂。

但是，Swish 的缺點(diǎn)是它的計算成本很高，為了解決這個問題，我們來看看下一個版本的 Swish。

2、Hard-Swish 或 H-Swish函數(shù)

函數(shù)定義如下：

它最大的優(yōu)點(diǎn)是幾乎類似于 swish 函數(shù)，但計算成本卻比 swish 更低，因?yàn)樗镁€性類型的 ReLU 函數(shù)取代了指數(shù)類型的 sigmoid 函數(shù)。

六、在深層神經(jīng)網(wǎng)絡(luò)中如何使用這些激活函數(shù)？

首先，Tanh 和 sigmoid 函數(shù)會引起巨大的梯度消失問題，因此一般不推薦使用。

神經(jīng)網(wǎng)絡(luò)中一開始嘗試引入 ReLU 函數(shù)。如上文所述，在權(quán)重層（諸如 CNN、RNN、LSTM 或線性感知層）之后添加激活層。如果你認(rèn)為模型已經(jīng)停止學(xué)習(xí)，那么可以用 Leaky ReLU 替換它，以避免「Dying ReLU」問題。但 Leaky ReLU 會稍微增加計算時間。

如果網(wǎng)絡(luò)中也有 Batch-Norm 層（批標(biāo)準(zhǔn)化層），則需要在執(zhí)行激活函數(shù)之前添加該層，順序是先進(jìn)行 CNN-Batch（卷積神經(jīng)網(wǎng)絡(luò)批處理），再進(jìn)行 Norm-Act（標(biāo)準(zhǔn)化動作）。雖然 Batch-Norm（批標(biāo)準(zhǔn)化）和激活函數(shù)的運(yùn)行順序是一個備受爭議的話題，也有人說順序其實(shí)無關(guān)緊要，為了與 Batch-Norm 的原論文保持一致，作者使用的是以上提到的這種順序。

激活函數(shù)的默認(rèn)超參數(shù)如果是在如 Tensorflow 和 Pytorch等框架中使用，則效果最好。然而，你可以調(diào)整 Leaky ReLU 中的負(fù)斜率并將其設(shè)置為 0.02 以加快學(xué)習(xí)速度。

via https://towardsdatascience.com/everything-you-need-to-know-about-activation-functions-in-deep-learning-models-84ba9f82c253

   

    下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
    

   
   

    在「小白學(xué)視覺」公眾號后臺回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
   
   

    

   
   

    下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講
   
   

    在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計算機(jī)視覺。
   
   

    

   
   

    下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講
   
   

    在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個基于OpenCV實(shí)現(xiàn)20個實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。
   
   

    

   
交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~