【機(jī)器學(xué)習(xí)理論基礎(chǔ)】理解偏差、方差和泛化誤差的關(guān)系

一 偏置-方差分解(Bias-Variance Decomposition)

偏置-方差分解(Bias-Variance Decomposition)是統(tǒng)計(jì)學(xué)派看待模型復(fù)雜度的觀點(diǎn)。Bias-variance 分解是機(jī)器學(xué)習(xí)中一種重要的分析技術(shù)。給定學(xué)習(xí)目標(biāo)和訓(xùn)練集規(guī)模，它可以把一種學(xué)習(xí)算法的期望誤差分解為三個(gè)非負(fù)項(xiàng)的和，即噪音noise、bias和 variance。

噪聲是一種不可控的錯(cuò)誤，很難避免，被稱為不可約偏差(irreducible error) ，即噪聲無法通過模型來消除。噪聲通常是出現(xiàn)在“數(shù)據(jù)采集”的過程中的，且具有隨機(jī)性和不可控性，比如采集用戶數(shù)據(jù)的時(shí)候儀器產(chǎn)生的隨機(jī)性偏差、人工標(biāo)注時(shí)的錯(cuò)誤或者在實(shí)驗(yàn)中受到其他不可控因素的干擾等。表達(dá)了當(dāng)前任務(wù)上任何模型所能達(dá)到的期望泛化誤差的下界，刻畫了學(xué)習(xí)問題本身的難度。

真實(shí)標(biāo)記（ ）就是說一組數(shù)據(jù)的真實(shí)值，而數(shù)據(jù)集的實(shí)際標(biāo)記（ ）一般是說記錄或者測(cè)量得到的實(shí)際結(jié)果，而這個(gè)過程就會(huì)產(chǎn)生誤差，比如說我們測(cè)量體重，然后記錄結(jié)果，那么可能會(huì)由于這個(gè)體重秤本身不太精確，或者你的粗心大意等其他原因都會(huì)導(dǎo)致你的記錄結(jié)果和真實(shí)結(jié)果不同，即數(shù)據(jù)集的實(shí)際標(biāo)記和真實(shí)標(biāo)記存在誤差。

1.1 期望預(yù)測(cè)

在一個(gè)訓(xùn)練集 上模型 f對(duì)測(cè)試樣本 的預(yù)測(cè)輸出為 , 那么學(xué)習(xí)算法 對(duì)測(cè)試樣本 的期望預(yù)測(cè)為:

當(dāng)我們使用相同的算法，但使用不同的訓(xùn)練數(shù)據(jù)D時(shí)就會(huì)得到多個(gè) 。上面的期望預(yù)測(cè)也就是針對(duì)不同數(shù)據(jù)集 ,  對(duì) 的預(yù)測(cè)值取其期望（平均預(yù)測(cè)）。

1.2 方差

方差是指機(jī)器學(xué)習(xí)模型預(yù)測(cè)的期望值與預(yù)測(cè)值之間的差平方和；度量了同樣大小的訓(xùn)練集的變動(dòng)所導(dǎo)致的學(xué)習(xí)性能的變化，即刻畫了數(shù)據(jù)擾動(dòng)所造成的影響。

使用樣本數(shù)相同的不同訓(xùn)練集產(chǎn)生的方差為:

1.3 偏差

期望預(yù)測(cè)與真實(shí)標(biāo)記的誤差稱為偏差(bias), 度量了模型的期望預(yù)測(cè)和真實(shí)結(jié)果的偏離程度，刻畫了模型本身的擬合能力。為了方便起見, 我們直接取偏差的平方:

1.4 泛化誤差

以回歸任務(wù)為例, 學(xué)習(xí)算法的平方預(yù)測(cè)誤差期望（MSE）為:

對(duì)算法的期望泛化誤差進(jìn)行分解:

令噪聲為零， ，所以紅色區(qū)域的等于零。

所有存在模型的泛化能力(泛化誤差)是由偏差、方差與數(shù)據(jù)噪聲之和：

因此，在機(jī)器學(xué)習(xí)中，我們通常使用均方誤差（Mean Squared Error, MSE）來評(píng)估模型的性能。MSE是一個(gè)綜合了偏差和方差的度量，它能夠很好地反映出模型預(yù)測(cè)值與真實(shí)值之間的差異。

二 圖解偏差與方差

模型的復(fù)雜度與方差偏差的變動(dòng)情況如下圖所示，當(dāng)算法復(fù)雜度不夠或者是訓(xùn)練程度不足時(shí)，學(xué)習(xí)器的擬合能力不足，偏差主導(dǎo)泛化錯(cuò)誤率．隨著算法復(fù)雜度加深或訓(xùn)練程度加強(qiáng)，學(xué)習(xí)器的擬合能力逐漸增強(qiáng)，訓(xùn)練數(shù)據(jù)的擾動(dòng)逐漸被學(xué)習(xí)器學(xué)習(xí)到，此時(shí)方差逐步主導(dǎo)了泛化錯(cuò)誤率．而我們要做的就是在在偏差和方差之間尋找一個(gè)平衡點(diǎn)，即泛化誤差最小的點(diǎn), 達(dá)到optimal balance.

我們選擇的算法以及平衡偏差和方差方式會(huì)產(chǎn)生不同的折衷效果．

這是一張常見的靶心圖?？梢韵胂蠹t色靶心表示為實(shí)際值，藍(lán)色點(diǎn)集為預(yù)測(cè)值。在模型不斷地訓(xùn)練和迭代過程中，模型的偏差和方差通過會(huì)出現(xiàn)以下四種情況：

1）低偏差，低方差：這是模型的最好結(jié)果，一個(gè)好的模型會(huì)不斷去逼近低偏差和低方差這個(gè)結(jié)果；

2）低偏差，高方差：這是機(jī)器學(xué)習(xí)模型經(jīng)常遇到的問題，即過擬合了。模型對(duì)訓(xùn)練數(shù)據(jù)學(xué)習(xí)的過于好過于細(xì)致了，導(dǎo)致其泛化能力差，若遇到測(cè)試集，準(zhǔn)確度下降的厲害；

3）高偏差，低方差：這往往是機(jī)器學(xué)習(xí)模型訓(xùn)練的初始階段，欠擬合；

4）高偏差，高方差：這是機(jī)器學(xué)習(xí)訓(xùn)練最糟糕的情況，準(zhǔn)確度差，數(shù)據(jù)的離散程度也差。

實(shí)際上我們無法計(jì)算真實(shí)的偏差和方差值，因?yàn)槲覀儾恢勒嬲牡哪繕?biāo)函數(shù)是什么，但我們可以利用偏差和方差幫助我們更好的理解機(jī)器學(xué)習(xí)算法的性能，在偏差和方差之間尋求平衡可以使我們的模型避免過擬合或者欠擬合．

在實(shí)踐中，我們通常不會(huì)直接計(jì)算偏差和方差的具體數(shù)值，而是通過觀察模型在訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)上的表現(xiàn)來判斷模型是否欠擬合或過擬合。例如，如果模型在訓(xùn)練集上表現(xiàn)很好但在驗(yàn)證集上表現(xiàn)很差，那么很可能存在高方差的問題。

三 方差和偏差與擬合