重磅干貨，第一時間送達

本文轉(zhuǎn)自：機器學(xué)習(xí)算法那些事

前面講到測試集的泛化性能是衡量學(xué)習(xí)模型優(yōu)劣的金標(biāo)準(zhǔn)，實際工作中，我們會遇到兩個不能忽視的問題：

（一）訓(xùn)練數(shù)據(jù)集D給定的情況下，不同的測試集T會有不同的測試精度；

（二）不同訓(xùn)練數(shù)據(jù)集D構(gòu)建的最優(yōu)模型f不同。

因此，僅僅通過測試誤差來評價模型的泛化性能是存在偏差的。已知訓(xùn)練數(shù)據(jù)集D和測試數(shù)據(jù)集T的概率分布，用測試數(shù)據(jù)集的期望泛化誤差來評價模型的泛化性能模型是最佳評價方案，其中，測試數(shù)據(jù)集期望泛化誤差包括偏差，方差和噪聲。作者認(rèn)為偏差與方差的最重要應(yīng)用是對自己設(shè)計的學(xué)習(xí)模型有一個更深入的了解，并指導(dǎo)自己怎么去優(yōu)化學(xué)習(xí)模型。

本文首先介紹了期望泛化誤差的推導(dǎo)過程，并引入了偏差與方差的定義；然后介紹了偏差與方差的應(yīng)用以及偏差與方差的估計方法。最后對本文進行總結(jié)。

測試集的期望泛化誤差是評價模型泛化性能的金標(biāo)準(zhǔn)，已知訓(xùn)練數(shù)據(jù)集D的概率分布，對測試樣本x，令yD為x在數(shù)據(jù)集中的標(biāo)記，y為x的真實標(biāo)記，f(x;D)為訓(xùn)練集D上學(xué)得模型f在x上的預(yù)測輸出，不同的訓(xùn)練集D構(gòu)建不同的最優(yōu)模型f。

以回歸任務(wù)為例，模型的泛化能力用E(f;D)表示。

學(xué)習(xí)算法的期望預(yù)測為：

使用樣本數(shù)相同的不同訓(xùn)練集產(chǎn)生的方差為：

噪聲為：

假定噪聲期望為零：

期望輸出與真實標(biāo)記的差別稱為偏差（bias），即

由最后的等式可知：

也就是說，泛化誤差可分解為偏差、方差與噪聲之和。

偏差表示學(xué)習(xí)算法的期望預(yù)測與真實結(jié)果的偏離程度，即刻畫了學(xué)習(xí)算法本身的擬合能力。訓(xùn)練模型越復(fù)雜，則偏差越小，如線性回歸可以通過增加參數(shù)個數(shù)來提高模型的復(fù)雜度，神經(jīng)網(wǎng)絡(luò)可以通過增加隱單元個數(shù)來提高模型的復(fù)雜度。

方差表示同樣大小的訓(xùn)練數(shù)據(jù)集的變動所導(dǎo)致的學(xué)習(xí)性能的變化，即刻畫了數(shù)據(jù)擾動所造成的影響。若模型處于過擬合狀態(tài)，不同訓(xùn)練數(shù)據(jù)集產(chǎn)生的學(xué)習(xí)模型相差較大。

噪聲表示任何學(xué)習(xí)模型所能達到期望泛化誤差的下界，即刻畫了學(xué)習(xí)問題本身的難度。若噪聲比較大，即使是最優(yōu)模型，泛化誤差也比較大。

我們在設(shè)計學(xué)習(xí)模型時需要對該模型有一個清晰的思路，若當(dāng)前學(xué)習(xí)模型處于高偏差狀態(tài)，則需要優(yōu)化學(xué)習(xí)模型，增加訓(xùn)練數(shù)據(jù)并不能優(yōu)化模型；若當(dāng)前學(xué)習(xí)模型處于高方差狀態(tài)，不同的訓(xùn)練數(shù)據(jù)集構(gòu)建的模型有比較大的差異，需要增加訓(xùn)練數(shù)據(jù)或降低模型的復(fù)雜度（如下圖）。

偏差與方差是一對矛盾的量，稱偏差-方差窘境（bias –variance dilemma）。當(dāng)學(xué)習(xí)模型的訓(xùn)練程度低時，學(xué)習(xí)器的擬合能力不強，模型處于高偏差狀態(tài)，訓(xùn)練數(shù)據(jù)集的擾動不足以使學(xué)習(xí)器發(fā)生顯著變化，模型具有低方差屬性；當(dāng)模型訓(xùn)練程度高時，模型復(fù)雜度高，處于低偏差狀態(tài)，訓(xùn)練數(shù)據(jù)集的擾動使學(xué)習(xí)器發(fā)生了顯著變化，模型具有高方差屬性。

隨機抽樣的訓(xùn)練數(shù)據(jù)集是有限的，按照第二節(jié)偏差與方差的公式是無法計算偏差與方差，因為無法知道訓(xùn)練數(shù)據(jù)集D和測試數(shù)據(jù)集T的分布情況，只能通過現(xiàn)有的訓(xùn)練數(shù)據(jù)集來估計偏差與方差。本文介紹了兩種偏差與方差估計方法，第一種是對訓(xùn)練集分成多組的偏差與方差估計，第二種是對訓(xùn)練集未分組的偏差與方差估計，一般采用第二種偏差與方差的估計方法。

3.1 訓(xùn)練數(shù)據(jù)集分組的偏差與方差估計

我們處理的數(shù)據(jù)都是隨機抽樣的樣本數(shù)據(jù)，期望是均值的無估計偏差，若對采樣的數(shù)據(jù)進行分組，可以估計模型的偏差與方差。抽樣數(shù)據(jù)集共分為L組，每組抽樣數(shù)據(jù)集包含N個采樣點，由上節(jié)的偏差與方差公式，可推算偏差與方差的公式如下：

其中，期望預(yù)測：

h(xn)為樣本輸入為的真實標(biāo)記。

【例】擬合正弦函數(shù)h(x)=sin(2*pi*x)，對正弦函數(shù)獨立采樣100組數(shù)據(jù)集，每組數(shù)據(jù)集包含25個點，模型采用正則化的多元線性回歸擬合，假設(shè)線性回歸參數(shù)個數(shù)確定，求正則化參數(shù)λ與偏差、方差的關(guān)系。

解：正則化參數(shù)λ與偏差、方差的關(guān)系如下圖：

如上圖所示，左圖表示100組數(shù)據(jù)集的擬合情況，可評估模型的方差。右圖是對左圖100組數(shù)據(jù)集每點求平均后的數(shù)據(jù)擬合情況，綠線表示理論模型，紅線表示數(shù)據(jù)集平均后的結(jié)果，可評估模型的偏差。

由圖可知，方差與偏差是一對矛盾量，λ越大，模型復(fù)雜度越低，偏差越大，方差越??；反之，偏差越小，方差越大。

3.2 訓(xùn)練數(shù)據(jù)集不分組的偏差與方差估計

為了構(gòu)建最優(yōu)模型，盡可能使用更多的訓(xùn)練數(shù)據(jù)。在實際工作中，訓(xùn)練數(shù)據(jù)集不分組，對一組訓(xùn)練數(shù)據(jù)集構(gòu)建最優(yōu)學(xué)習(xí)模型并評估模型的偏差與方差。

學(xué)習(xí)曲線可以估計學(xué)習(xí)模型的偏差與方差，訓(xùn)練數(shù)據(jù)集劃分為訓(xùn)練集和驗證集，學(xué)習(xí)曲線是衡量樣本數(shù)與訓(xùn)練集誤差、交叉驗證集誤差的關(guān)系，橫坐標(biāo)是樣本數(shù)，縱坐標(biāo)是訓(xùn)練數(shù)據(jù)集誤差和交叉驗證集誤差。

高偏差：

在高偏差的情形下，樣本數(shù)增加，訓(xùn)練集誤差和交叉驗證集誤差十分接近，但是誤差很大。因此，當(dāng)模型處于高偏差的情形下，首先考慮的應(yīng)該是優(yōu)化模型。

高方差：

在高方差的情形下，樣本數(shù)增加，訓(xùn)練集誤差緩慢增加，交叉驗證集誤差減小。因此，當(dāng)模型處于高方差的情形下，增加樣本數(shù)可能會減小交叉驗證集誤差。

測試數(shù)據(jù)集的期望泛化誤差是衡量模型性能的金標(biāo)準(zhǔn)，期望泛化誤差包括偏差、方差以及噪聲。模型處于高偏差低方差的狀態(tài)時，則需優(yōu)化模型；模型處于低偏差高方差的狀態(tài)時，則需增加訓(xùn)練數(shù)據(jù)或降低模型復(fù)雜度。因此，判斷當(dāng)前模型處于何種狀態(tài)是進一步優(yōu)化模型的前提，如何判斷可參考第三節(jié)。

參考：

周志華 《機器學(xué)習(xí)》

Christopher M. Bishop  <<Pattern Recognition and Machine Learning>>

https://blog.csdn.net/hertzcat/article/details/80035330