↓推薦關(guān)注↓

作者丨Poll 來(lái)源丨煉丹筆記

導(dǎo)讀

本文對(duì)幾種常用的防止模型過(guò)擬合的方法進(jìn)行了詳細(xì)的匯總和講解。

其實(shí)正則化的本質(zhì)很簡(jiǎn)單，就是對(duì)某一問(wèn)題加以先驗(yàn)的限制或約束以達(dá)到某種特定目的的一種手段或操作。在算法中使用正則化的目的是防止模型出現(xiàn)過(guò)擬合。一提到正則化，很多同學(xué)可能馬上會(huì)想到常用的L1范數(shù)和L2范數(shù)，在匯總之前，我們先看下LP范數(shù)是什么？

LP范數(shù)

范數(shù)簡(jiǎn)單可以理解為用來(lái)表征向量空間中的距離，而距離的定義很抽象，只要滿(mǎn)足非負(fù)、自反、三角不等式就可以稱(chēng)之為距離。

LP范數(shù)不是一個(gè)范數(shù)，而是一組范數(shù)，其定義如下：

p的范圍是[1,∞)。p在(0,1)范圍內(nèi)定義的并不是范數(shù)，因?yàn)檫`反了三角不等式。

根據(jù)pp的變化，范數(shù)也有著不同的變化，借用一個(gè)經(jīng)典的有關(guān)P范數(shù)的變化圖如下：

上圖表示了p從0到正無(wú)窮變化時(shí)，單位球（unit ball）的變化情況。在P范數(shù)下定義的單位球都是凸集，但是當(dāng)0<p<1時(shí)，在該定義下的unit ball并不是凸集（這個(gè)我們之前提到，當(dāng)0<p<1時(shí)并不是范數(shù)）。

那問(wèn)題來(lái)了，L0范數(shù)是啥玩意？

L0范數(shù)表示向量中非零元素的個(gè)數(shù)，用公式表示如下：

我們可以通過(guò)最小化L0范數(shù)，來(lái)尋找最少最優(yōu)的稀疏特征項(xiàng)。但不幸的是，L0范數(shù)的最優(yōu)化問(wèn)題是一個(gè)NP hard問(wèn)題（L0范數(shù)同樣是非凸的）。因此，在實(shí)際應(yīng)用中我們經(jīng)常對(duì)L0進(jìn)行凸松弛，理論上有證明，L1范數(shù)是L0范數(shù)的最優(yōu)凸近似，因此通常使用L1范數(shù)來(lái)代替直接優(yōu)化L0范數(shù)。

L1范數(shù)

根據(jù)LP范數(shù)的定義我們可以很輕松的得到L1范數(shù)的數(shù)學(xué)形式：

通過(guò)上式可以看到，L1范數(shù)就是向量各元素的絕對(duì)值之和，也被稱(chēng)為是"稀疏規(guī)則算子"（Lasso regularization）。那么問(wèn)題來(lái)了，為什么我們希望稀疏化？稀疏化有很多好處，最直接的兩個(gè)：

特征選擇
可解釋性

L2范數(shù)

L2范數(shù)是最熟悉的，它就是歐幾里得距離，公式如下：

L2范數(shù)有很多名稱(chēng)，有人把它的回歸叫“嶺回歸”（Ridge Regression），也有人叫它“權(quán)值衰減”（Weight Decay）。以L(fǎng)2范數(shù)作為正則項(xiàng)可以得到稠密解，即每個(gè)特征對(duì)應(yīng)的參數(shù)ww都很小，接近于0但是不為0；此外，L2范數(shù)作為正則化項(xiàng)，可以防止模型為了迎合訓(xùn)練集而過(guò)于復(fù)雜造成過(guò)擬合的情況，從而提高模型的泛化能力。

L1范數(shù)和L2范數(shù)的區(qū)別

引入PRML一個(gè)經(jīng)典的圖來(lái)說(shuō)明下L1和L2范數(shù)的區(qū)別，如下圖所示：

如上圖所示，藍(lán)色的圓圈表示問(wèn)題可能的解范圍，橘色的表示正則項(xiàng)可能的解范圍。而整個(gè)目標(biāo)函數(shù)（原問(wèn)題+正則項(xiàng)）有解當(dāng)且僅當(dāng)兩個(gè)解范圍相切。從上圖可以很容易地看出，由于L2范數(shù)解范圍是圓，所以相切的點(diǎn)有很大可能不在坐標(biāo)軸上，而由于L1范數(shù)是菱形（頂點(diǎn)是凸出來(lái)的），其相切的點(diǎn)更可能在坐標(biāo)軸上，而坐標(biāo)軸上的點(diǎn)有一個(gè)特點(diǎn)，其只有一個(gè)坐標(biāo)分量不為零，其他坐標(biāo)分量為零，即是稀疏的。所以有如下結(jié)論，L1范數(shù)可以導(dǎo)致稀疏解，L2范數(shù)導(dǎo)致稠密解。

從貝葉斯先驗(yàn)的角度看，當(dāng)訓(xùn)練一個(gè)模型時(shí)，僅依靠當(dāng)前的訓(xùn)練數(shù)據(jù)集是不夠的，為了實(shí)現(xiàn)更好的泛化能力，往往需要加入先驗(yàn)項(xiàng)，而加入正則項(xiàng)相當(dāng)于加入了一種先驗(yàn)。

L1范數(shù)相當(dāng)于加入了一個(gè)Laplacean先驗(yàn)；
L2范數(shù)相當(dāng)于加入了一個(gè)Gaussian先驗(yàn)。

如下圖所示：

Dropout

Dropout是深度學(xué)習(xí)中經(jīng)常采用的一種正則化方法。它的做法可以簡(jiǎn)單的理解為在DNNs訓(xùn)練的過(guò)程中以概率pp丟棄部分神經(jīng)元，即使得被丟棄的神經(jīng)元輸出為0。Dropout可以實(shí)例化的表示為下圖：

我們可以從兩個(gè)方面去直觀(guān)地理解Dropout的正則化效果：

在Dropout每一輪訓(xùn)練過(guò)程中隨機(jī)丟失神經(jīng)元的操作相當(dāng)于多個(gè)DNNs進(jìn)行取平均，因此用于預(yù)測(cè)時(shí)具有vote的效果。
減少神經(jīng)元之間復(fù)雜的共適應(yīng)性。當(dāng)隱藏層神經(jīng)元被隨機(jī)刪除之后，使得全連接網(wǎng)絡(luò)具有了一定的稀疏化，從而有效地減輕了不同特征的協(xié)同效應(yīng)。也就是說(shuō)，有些特征可能會(huì)依賴(lài)于固定關(guān)系的隱含節(jié)點(diǎn)的共同作用，而通過(guò)Dropout的話(huà)，就有效地組織了某些特征在其他特征存在下才有效果的情況，增加了神經(jīng)網(wǎng)絡(luò)的魯棒性。

Batch Normalization

批規(guī)范化（Batch Normalization）嚴(yán)格意義上講屬于歸一化手段，主要用于加速網(wǎng)絡(luò)的收斂，但也具有一定程度的正則化效果。

這里借鑒下魏秀參博士的知乎回答中對(duì)covariate shift的解釋?zhuān)?span style="margin: 0px;padding: 0px;outline: 0px;max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;color: rgb(2, 30, 170);">https://www.zhihu.com/question/38102762）。

注：以下內(nèi)容引自魏秀參博士的知乎回答大家都知道在統(tǒng)計(jì)機(jī)器學(xué)習(xí)中的一個(gè)經(jīng)典假設(shè)是“源空間（source domain）和目標(biāo)空間（target domain）的數(shù)據(jù)分布（distribution）是一致的”。如果不一致，那么就出現(xiàn)了新的機(jī)器學(xué)習(xí)問(wèn)題，如transfer learning/domain adaptation等。而covariate shift就是分布不一致假設(shè)之下的一個(gè)分支問(wèn)題，它是指源空間和目標(biāo)空間的條件概率是一致的，但是其邊緣概率不同。大家細(xì)想便會(huì)發(fā)現(xiàn)，的確，對(duì)于神經(jīng)網(wǎng)絡(luò)的各層輸出，由于它們經(jīng)過(guò)了層內(nèi)操作作用，其分布顯然與各層對(duì)應(yīng)的輸入信號(hào)分布不同，而且差異會(huì)隨著網(wǎng)絡(luò)深度增大而增大，可是它們所能“指示”的樣本標(biāo)記（label）仍然是不變的，這便符合了covariate shift的定義。

BN的基本思想其實(shí)相當(dāng)直觀(guān)，因?yàn)樯窠?jīng)網(wǎng)絡(luò)在做非線(xiàn)性變換前的激活輸入值（X=WU+B，U是輸入）隨著網(wǎng)絡(luò)深度加深，其分布逐漸發(fā)生偏移或者變動(dòng)（即上述的covariate shift）。之所以訓(xùn)練收斂慢，一般是整體分布逐漸往非線(xiàn)性函數(shù)的取值區(qū)間的上下限兩端靠近（對(duì)于Sigmoid函數(shù)來(lái)說(shuō)，意味著激活輸入值X=WU+B是大的負(fù)值或正值），所以這導(dǎo)致后向傳播時(shí)低層神經(jīng)網(wǎng)絡(luò)的梯度消失，這是訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)收斂越來(lái)越慢的本質(zhì)原因。而B(niǎo)N就是通過(guò)一定的規(guī)范化手段，把每層神經(jīng)網(wǎng)絡(luò)任意神經(jīng)元這個(gè)輸入值的分布強(qiáng)行拉回到均值為0方差為1的標(biāo)準(zhǔn)正態(tài)分布，避免因?yàn)榧せ詈瘮?shù)導(dǎo)致的梯度彌散問(wèn)題。所以與其說(shuō)BN的作用是緩解covariate shift，倒不如說(shuō)BN可緩解梯度彌散問(wèn)題。

歸一化、標(biāo)準(zhǔn)化 & 正則化

正則化我們以及提到過(guò)了，這里簡(jiǎn)單提一下歸一化和標(biāo)準(zhǔn)化。歸一化（Normalization）：歸一化的目標(biāo)是找到某種映射關(guān)系，將原數(shù)據(jù)映射到[a,b]區(qū)間上。一般a,b會(huì)取[?1,1],[0,1]這些組合。

一般有兩種應(yīng)用場(chǎng)景：

把數(shù)變?yōu)?0, 1)之間的小數(shù)
把有量綱的數(shù)轉(zhuǎn)化為無(wú)量綱的數(shù)

常用min-max normalization：

標(biāo)準(zhǔn)化（Standardization）：用大數(shù)定理將數(shù)據(jù)轉(zhuǎn)化為一個(gè)標(biāo)準(zhǔn)正態(tài)分布，標(biāo)準(zhǔn)化公式為：

歸一化和標(biāo)準(zhǔn)化的區(qū)別：

我們可以這樣簡(jiǎn)單地解釋?zhuān)?/section>

歸一化的縮放是“拍扁”統(tǒng)一到區(qū)間（僅由極值決定），而標(biāo)準(zhǔn)化的縮放是更加“彈性”和“動(dòng)態(tài)”的，和整體樣本的分布有很大的關(guān)系。

值得注意：

歸一化：縮放僅僅跟最大、最小值的差別有關(guān)。
標(biāo)準(zhǔn)化：縮放和每個(gè)點(diǎn)都有關(guān)系，通過(guò)方差（variance）體現(xiàn)出來(lái)。與歸一化對(duì)比，標(biāo)準(zhǔn)化中所有數(shù)據(jù)點(diǎn)都有貢獻(xiàn)（通過(guò)均值和標(biāo)準(zhǔn)差造成影響）。

為什么要標(biāo)準(zhǔn)化和歸一化？

提升模型精度：歸一化后，不同維度之間的特征在數(shù)值上有一定比較性，可以大大提高分類(lèi)器的準(zhǔn)確性。
加速模型收斂：標(biāo)準(zhǔn)化后，最優(yōu)解的尋優(yōu)過(guò)程明顯會(huì)變得平緩，更容易正確的收斂到最優(yōu)解。如下圖所示：

聲明：部分內(nèi)容來(lái)源于網(wǎng)絡(luò)，僅供讀者學(xué)術(shù)交流之目的。文章版權(quán)歸原作者所有。如有不妥，請(qǐng)聯(lián)系刪除。


長(zhǎng)按或掃描下方二維碼，后臺(tái)回復(fù)：加群，即可申請(qǐng)入群。一定要備注：來(lái)源+研究方向+學(xué)校/公司，否則不拉入群中，見(jiàn)諒！
（長(zhǎng)按三秒，進(jìn)入后臺(tái)）

推薦閱讀
常用的數(shù)據(jù)分析方法匯總
30 個(gè)Python代碼實(shí)現(xiàn)的常用功能，精心整理版
神器！三行 Python 代碼輕松提取 PDF 表格數(shù)據(jù)
四款可視化工具，解決99%的可視化大屏需求

機(jī)器學(xué)習(xí)必備：如何防止過(guò)擬合？