www九色,123区麻豆成人片,国产精品永久成人免费,国产卡一卡二精品电影,欧美视频一区在线观看,黄片视频2019,久草青青草,天天综合网天天色

偏差—方差之間的權(quán)衡判讀對機(jī)器學(xué)習(xí)來說是非常重要的。在深度學(xué)習(xí)研究中，可能會遇到雙下降現(xiàn)象，認(rèn)為這有悖于偏差—方差權(quán)衡。本文通過一個統(tǒng)計學(xué)的例子，對偏差—方差權(quán)衡展開了形象的解讀。

8 月初，華盛頓大學(xué)統(tǒng)計學(xué)與生物統(tǒng)計學(xué)教授 Daniela Witten 在推特上發(fā)帖介紹了「偏差 - 方差權(quán)衡」與「雙下降」之間的關(guān)系。這個帖子一經(jīng)發(fā)出便收獲了很多點(diǎn)贊與轉(zhuǎn)發(fā)。

AI 大咖 Yann LeCun 也轉(zhuǎn)發(fā)了該貼，他高度稱贊了 Daniela Witten 教授對「雙下降」現(xiàn)象的解讀。LeCun 寫道：「這是對雙下降現(xiàn)象非常直觀的解釋。當(dāng)模型能力『恰好』能夠產(chǎn)生零訓(xùn)練誤差時，該現(xiàn)象導(dǎo)致測試誤差達(dá)到峰值。并且，峰值不會出現(xiàn)在多層網(wǎng)絡(luò)中，因為它們呈現(xiàn)隱式正則化?！?/span>

Daniela Witten 教授的解讀究竟有哪些獨(dú)到之處呢？她開篇是這樣介紹的：「還記得偏差—方差權(quán)衡嗎？它意味著模型在中等程度靈活性條件下表現(xiàn)良好。圖中可以看到 U 形測試誤差曲線。我們試圖找到靈活性的『最佳點(diǎn)』（Sweet Spot）」。

獨(dú)到的偏差 - 方差權(quán)衡解讀

上文中的 U 型測試誤差曲線基于以下公式：

隨著靈活性的增加，（平方）偏差減少，方差增加?！竤weet spot」需要權(quán)衡偏差和方差，即具有中等程度靈活性的模型。

偏差 - 方差權(quán)衡不成立嗎？

過去的幾年中，尤其是在深度學(xué)習(xí)領(lǐng)域，已經(jīng)出現(xiàn)雙下降現(xiàn)象。當(dāng)你繼續(xù)擬合越來越靈活且對訓(xùn)練數(shù)據(jù)進(jìn)行插值處理的模型時，測試誤差會再次減??！

在深度學(xué)習(xí)的背景下，這一點(diǎn)似乎尤為突出（不過，正如我們看到的，這種情況在其他地方也會發(fā)生）。到底是怎么回事？偏差—方差權(quán)衡是否成立？教科書都錯了嗎？或者是深度學(xué)習(xí)的魔力？

深度學(xué)習(xí)的雙下降現(xiàn)象，偏差 - 方差權(quán)衡成立

在這篇帖子里，Daniela Witten 教授給出了合理的解釋。為了理解深度學(xué)習(xí)的雙下降現(xiàn)象，她列舉了一個與深度學(xué)習(xí)無關(guān)的簡單示例：自然三次樣條曲線（natural cubic spline）。

首先介紹一下什么是樣條曲線？本質(zhì)上，這是一種擬合模型 Y=f（X）+epsilon 的方法，f 是非參數(shù)的，由非常光滑的分段多項式構(gòu)成。

為了擬合樣條曲線，Daniela 等人創(chuàng)建了一些基函數(shù)，然后通過最小二乘法將響應(yīng)（response）Y 擬合到基函數(shù)上。所用基函數(shù)的數(shù)量與樣條曲線的自由度（degrees of freedom, DF）相同?；瘮?shù)基本形式如下：

假設(shè) n=20（X, Y），并且想用樣條曲線 Y = f(X)+ epsilon 估計 f(X)（此處 f(X)= sin(X)）。

首先，Daniela 等人擬合了一個 4DF 的樣條曲線。n=20 時的觀測值為灰色小圓點(diǎn)，f(x) 為黑色曲線，擬合函數(shù)為淺藍(lán)色曲線。

然后擬合了一個 6DF 的樣條曲線。

接著嘗試擬合 20DF 的樣條曲線，這不是一個好主意。因為得到了 n=20 的觀測值，所以為了擬合 20DF 的樣條曲線，需要用 20 個特征來運(yùn)行最小二乘法！結(jié)果顯示在訓(xùn)練集上零誤差，但在測試集上誤差非常大！這些糟糕的結(jié)果也非常符合偏差 - 方差權(quán)衡的預(yù)測。

雖然在 20DF 的測試結(jié)果非常差，但 Daniela 等人還是進(jìn)行了 n=20，p=36DF 時的最小二乘法擬合。

這時 p>n，解是不唯一的。為了在無窮多個解中進(jìn)行選擇，Daniela 等人選擇了「最小」范數(shù)擬合：系數(shù)平方和最小的那個（使用了大家最喜歡的矩陣分解 SVD，以實現(xiàn)輕松計算）

下圖為 n=20，p=36DF 的擬合結(jié)果。

欣慰的是，結(jié)果并沒有預(yù)期的那么糟。下圖對比了 20DF 和 36DF 的結(jié)果，可見 36DF 的結(jié)果比 20DF 要好一點(diǎn)。這是什么原因呢？

下圖是訓(xùn)練誤差和測試誤差曲線，兩者的變化曲線差別非常大。以虛線為分界線，當(dāng) p>n 時，為什么測試誤差（暫時）減少？這難道就是偏差 - 方差權(quán)衡所指的對立面嗎？

Daniela 等人給出了合理的解釋：關(guān)鍵在于 20DF，n=p 時，只有一個最小二乘擬合的訓(xùn)練誤差為零。這種擬合會出現(xiàn)大量的振蕩。

但是當(dāng)增加 DF，使得 p>n 時，則會出現(xiàn)大量的插值最小二乘擬合。最小范數(shù)的最小二乘擬合是這無數(shù)多個擬合中振蕩最小的，甚至比 p=n 時的擬合更穩(wěn)定。

所以，選擇最小范數(shù)最小二乘擬合實際上意味著 36DF 的樣條曲線比 20DF 的樣條曲線的靈活性差。

現(xiàn)在，如果在擬合樣條曲線時使用了脊懲罰（ridge penalty），而不是最小二乘，結(jié)果會怎么樣呢？這時將不會有插值訓(xùn)練集，也不會看到雙下降，而且會得到更好的測試誤差（前提是正確的調(diào)整參數(shù)值?。?/span>

總結(jié)

所以，這些與深度學(xué)習(xí)有何關(guān)系？當(dāng)使用（隨機(jī)）梯度下降法來擬合神經(jīng)網(wǎng)絡(luò)時，實際上是在挑選最小范數(shù)解！因此，樣條曲線示例非常類似于神經(jīng)網(wǎng)絡(luò)雙下降時發(fā)生的情況。

因此雙下降是真實發(fā)生的，并不是深度學(xué)習(xí)魔法。通過統(tǒng)計 - ML 和偏差 - 方差權(quán)衡可以理解它。一切都不是魔法，只是統(tǒng)計在發(fā)揮作用。

作者：Daniela Witten

機(jī)器之心編譯

編輯：陳萍、杜偉

原文鏈接：

https://threadreaderapp.com/thread/1292293102103748609.html

UW 教授用統(tǒng)計學(xué)解釋偏差 - 方差權(quán)衡