比較全面的L1和L2正則化的解釋

1、L2正則化的優(yōu)化角度分析

在限定的區(qū)域，找到使最小的值。

圖形表示為：

上圖所示，紅色實線是正則項區(qū)域的邊界，藍色實線是的等高線，越靠里的等高圓，越小，梯度的反方向是減小最大的方向，用表示，正則項邊界的法向量用實黑色箭頭表示。

正則項邊界在點P1的切向量有負梯度方向的分量，所以該點會有往相鄰的等高虛線圓運動的趨勢；當P1點移動到P2點，正則項邊界在點P2的切向量與梯度方向的向量垂直，即該點沒有往負梯度方向運動的趨勢；所以P2點是最小的點。

結(jié)論：L2正則化項使值最小時對應的參數(shù)變小。

2、L1正則化的優(yōu)化角度分析

在限定的區(qū)域，找到使最小的值。

結(jié)論：如上圖，因為切向量始終指向w2軸，所以L1正則化容易使參數(shù)為0，即特征稀疏化。

1、L1正則化

L1正則化的損失函數(shù)為：

上式可知，當w大于0時，更新的參數(shù)w變?。划攚小于0時，更新的參數(shù)w變大；所以，L1正則化容易使參數(shù)變?yōu)?，即特征稀疏化。

2、L2正則化

L2正則化的損失函數(shù)為：

由上式可知，正則化的更新參數(shù)相比于未含正則項的更新參數(shù)多了項，當w趨向于0時，參數(shù)減小的非常緩慢，因此L2正則化使參數(shù)減小到很小的范圍，但不為0。

文章《深入理解線性回歸算法（二）：正則項的詳細分析》提到，當先驗分布是拉普拉斯分布時，正則化項為L1范數(shù)；當先驗分布是高斯分布時，正則化項為L2范數(shù)。本節(jié)通過先驗分布來推斷L1正則化和L2正則化的性質(zhì)。

畫高斯分布和拉普拉斯分布圖（來自知乎某網(wǎng)友）：

由上圖可知，拉普拉斯分布在參數(shù)w=0點的概率最高，因此L1正則化相比于L2正則化更容易使參數(shù)為0；高斯分布在零附近的概率較大，因此L2正則化相比于L1正則化更容易使參數(shù)分布在一個很小的范圍內(nèi)。

函數(shù)極值的判斷定理：

（1）當該點導數(shù)存在，且該導數(shù)等于零時，則該點為極值點；

（2）當該點導數(shù)不存在，左導數(shù)和右導數(shù)的符號相異時，則該點為極值點。

如下面兩圖：

左圖對應第一種情況的極值，右圖對應第二種情況的極值。本節(jié)的思想就是用了第二種極值的思想，只要證明參數(shù)w在0附近的左導數(shù)和右導數(shù)符合相異，等價于參數(shù)w在0取得了極值。

圖形角度分析

損失函數(shù)L如下：

黑色點為極值點x1，由極值定義：L'(x1)=0；

含L2正則化的損失函數(shù): 

由結(jié)論可定性的畫含L2正則化的圖：

極值點為黃色點，即正則化L2模型的參數(shù)變小了。

含L1正則化的損失函數(shù):

因此，只要C滿足推論的條件，則損失函數(shù)在0點取極值(粉紅色曲線），即L1正則化模型參數(shù)個數(shù)減少了。

這種思想還是來自知乎的，覺得很有趣，所以就記錄在這篇文章了，思想用到了凸函數(shù)的性質(zhì)。我就直接粘貼這種推導了，若有不懂的地方請微信我。

結(jié)論：含L1正則化的損失函數(shù)在0點取得極值的條件比相應的L2正則化要寬松的多，所以，L1正則化更容易得到稀疏解（w=0）。

因為L1正則化在零點附近具有很明顯的棱角，L2正則化則在零附近比較平緩。所以L1正則化更容易使參數(shù)為零，L2正則化則減小參數(shù)值，如下圖。

（1）L1正則化使參數(shù)為零    （2）L2正則化使參數(shù)減小

本文總結(jié)了自己在網(wǎng)上看到的各種角度分析L1正則化和L2正則化降低復雜度的問題，希望這篇文章能夠給大家平時在檢索相關問題時帶來一點幫助。若有更好的想法，期待您的精彩回復，文章若有不足之處，歡迎更正指出。