為什么模型復雜度增加時，模型預測的方差會增大，偏差會減?。?/h1>
點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
編輯：憶臻
https://www.zhihu.com/question/351352422
本文僅作為學術分享，如果侵權，會刪文處理
為什么模型復雜度增加時，模型預測的方差會增大，偏差會減??？
作者：徐嘯
https://www.zhihu.com/question/351352422/answer/862023291
題主的問題可以理解為：模型復雜度和偏差、方差之間的關系。
首先從邏輯上解釋這三者之間的關系。從直覺上看，如果暫且忽略優(yōu)化問題，模型的復雜度越大(這里的復雜度我覺得理解為模型的“容量、能力”更便于理解)，模型的擬合能力就會越強，也就更容易發(fā)生過擬合。
那么這和方差、偏差又有什么關系呢？這里需要對偏差和方差有一定的理解：
偏差(Bias)：在不同訓練集上訓練得到的所有模型的平均性能和最優(yōu)模型的差異，可以用來衡量模型的擬合能力。
方差(Variance)：在不同的訓練集上訓練得到的模型之間的性能差異，表示數(shù)據(jù)擾動對模型性能的影響，可以用來衡量模型是否容易過擬合，即模型的泛化能力。
所以，當模型的復雜度增加時，模型的擬合能力得到增強，偏差便會減小，但很有可能會由于擬合“過度”，從而對數(shù)據(jù)擾動更加敏感，導致方差增大。從模型評價上來看，模型復雜度增加后，出現(xiàn)驗證集效果提升，但是測試集效果下降的現(xiàn)象。
接著從偏差-方差分解(Bias-Variance Decomposition)，進行簡要闡述，詳細內容請見《神經網絡與深度學習》的 2.4 節(jié) 偏差-方差分解。
為模型的期望錯誤，
即為偏差，
即為在訓練集
上訓練得到的模型，
指在不同訓練集
上訓練得到的所有模型性能的期望值，而
指的是最優(yōu)模型，也就是上面所說的“在不同訓練集上訓練得到的所有模型的平均性能和最優(yōu)模型的差異”。
已
，所以
即為方差，表示在不同的訓練集上訓練得到的模型之間的性能差異。
通過上述公式，可以深入理解偏差與方差的含義?；诖?，我們就可以理解下圖中偏差與方差的四種組合情況：
以上個人淺見，如有謬誤，還望指明。
作者：汪宇
https://www.zhihu.com/question/351352422/answer/862120414
如果沒理解錯，這里的assumption是：
模型復雜度增加，模型的能力越強，使得在訓練的時候，可以更好地fit training data。
基于這個assumption，那么看這個圖：
from: deeplearningbook (Goodfellow, Ian, Yoshua Bengio, and Aaron Courville.Deep learning. MIT press, 2016.)
（模型復雜度，bias， variance）的關系 和 （模型復雜度，underfitting，overfitting）的關系聯(lián)系的很緊密。
Bias偏差衡量的是你的預測值和真實值的差距，也就是你的模型學的怎么樣。在模型capacity不夠的情況下，在underfitting的zone里，你預測的值通常跟真實值差距很大，那么bias就會比較大。隨著模型capacity增加，模型越來越強，越擬合你真實的數(shù)據(jù)值，bias會降低。
Variance方差衡量的是‘how we would expect the estimate we compute from data to vary as we independently resample the dataset from the underlying data generating process’（from deeplearningbook)
也就是說，衡量的是你training data如果改變，對你的模型改變大不大。通常來說，如果你的模型capacity增大，那么就更容易overfit，那么training data的改變，就會影響你的模型，也就是方差會增大；相反，如果你的模型underfit，那么training data稍微改變一些，并不會對模型產生較大影響，方差小，模型的波動小。
下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內容。
下載2：Python視覺實戰(zhàn)項目52講 在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。
下載3：OpenCV實戰(zhàn)項目20講 在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內發(fā)送廣告，否則會請出群，謝謝理解~
瀏覽
77
點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
編輯：憶臻
https://www.zhihu.com/question/351352422
本文僅作為學術分享，如果侵權，會刪文處理
作者：徐嘯
https://www.zhihu.com/question/351352422/answer/862023291
題主的問題可以理解為：模型復雜度和偏差、方差之間的關系。
首先從邏輯上解釋這三者之間的關系。從直覺上看，如果暫且忽略優(yōu)化問題，模型的復雜度越大(這里的復雜度我覺得理解為模型的“容量、能力”更便于理解)，模型的擬合能力就會越強，也就更容易發(fā)生過擬合。
那么這和方差、偏差又有什么關系呢？這里需要對偏差和方差有一定的理解：
偏差(Bias)：在不同訓練集上訓練得到的所有模型的平均性能和最優(yōu)模型的差異，可以用來衡量模型的擬合能力。
方差(Variance)：在不同的訓練集上訓練得到的模型之間的性能差異，表示數(shù)據(jù)擾動對模型性能的影響，可以用來衡量模型是否容易過擬合，即模型的泛化能力。
所以，當模型的復雜度增加時，模型的擬合能力得到增強，偏差便會減小，但很有可能會由于擬合“過度”，從而對數(shù)據(jù)擾動更加敏感，導致方差增大。從模型評價上來看，模型復雜度增加后，出現(xiàn)驗證集效果提升，但是測試集效果下降的現(xiàn)象。
接著從偏差-方差分解(Bias-Variance Decomposition)，進行簡要闡述，詳細內容請見《神經網絡與深度學習》的 2.4 節(jié) 偏差-方差分解。
為模型的期望錯誤，即為偏差，即為在訓練集上訓練得到的模型，上訓練得到的所有模型性能的期望值，而已，所以即為方差，表示在不同的訓練集上訓練得到的模型之間的性能差異。
通過上述公式，可以深入理解偏差與方差的含義?；诖?，我們就可以理解下圖中偏差與方差的四種組合情況：
以上個人淺見，如有謬誤，還望指明。
作者：汪宇
https://www.zhihu.com/question/351352422/answer/862120414
如果沒理解錯，這里的assumption是：
模型復雜度增加，模型的能力越強，使得在訓練的時候，可以更好地fit training data。
基于這個assumption，那么看這個圖：
from: deeplearningbook (Goodfellow, Ian, Yoshua Bengio, and Aaron Courville.Deep learning. MIT press, 2016.)
（模型復雜度，bias， variance）的關系 和 （模型復雜度，underfitting，overfitting）的關系聯(lián)系的很緊密。
Bias偏差衡量的是你的預測值和真實值的差距，也就是你的模型學的怎么樣。在模型capacity不夠的情況下，在underfitting的zone里，你預測的值通常跟真實值差距很大，那么bias就會比較大。隨著模型capacity增加，模型越來越強，越擬合你真實的數(shù)據(jù)值，bias會降低。
Variance方差衡量的是‘how we would expect the estimate we compute from data to vary as we independently resample the dataset from the underlying data generating process’（from deeplearningbook)
也就是說，衡量的是你training data如果改變，對你的模型改變大不大。通常來說，如果你的模型capacity增大，那么就更容易overfit，那么training data的改變，就會影響你的模型，也就是方差會增大；相反，如果你的模型underfit，那么training data稍微改變一些，并不會對模型產生較大影響，方差小，模型的波動小。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內發(fā)送廣告，否則會請出群，謝謝理解~