來(lái)源：DeepHub IMBA
作者：hqtquynhtram
本文約1000字，建議閱讀6分鐘?
特征如果存在多重共線性時(shí)為什么不能估計(jì)出最佳回歸系數(shù)？

在機(jī)器學(xué)習(xí)面試中經(jīng)常會(huì)被問到的一個(gè)問題是，特征如果存在多重共線性時(shí)為什么不能估計(jì)出最佳回歸系數(shù)？本篇文章可以算是這個(gè)問題的標(biāo)準(zhǔn)答案

多重共線性是什么？

當(dāng)回歸模型中的自變量之間高度相關(guān)時(shí)，存在多重共線性。

例如，如果你的模型包括2個(gè)變量，即工作經(jīng)驗(yàn)?zāi)陻?shù)和工資，那么在你的模型中就很有可能存在多重共線性。原因是從常識(shí)上講，經(jīng)驗(yàn)越豐富，薪水越高。

它對(duì)線性回歸模型有何影響？

它會(huì)使模型估計(jì)失真或難以估計(jì)準(zhǔn)確， 回想一下線性回歸模型的 MSE 損失函數(shù)的偏導(dǎo)數(shù)：

為了找到最優(yōu)回歸系數(shù)，我們要最小化損失函數(shù) MSE，換句話說(shuō)就是找到最小化 MSE 的回歸系數(shù)值。通過進(jìn)行一些轉(zhuǎn)換，可以使用以下等式找到最佳參數(shù)：

上面的公式中：

1. theta_hat 是最小化損失函數(shù)的估計(jì)系數(shù)
2. y 目標(biāo)值向量
3. X 是包含所有預(yù)測(cè)變量的設(shè)計(jì)矩陣（design matrix）

這里我們假設(shè) XTX 是可逆的，以便能夠估計(jì) theta_hat 。但是，如果 X 的列彼此線性相關(guān)（存在多重共線性），則 XTX 是不可逆的。

由于回歸模型中存在共線性，所以很難解釋模型的系數(shù) 。

還記得回歸系數(shù)的解釋嗎？

回歸系數(shù)英文名稱：regression coefficient

定義：回歸分析中度量依變量對(duì)自變量的相依程度的指標(biāo)，它反映當(dāng)自變量每變化一個(gè)單位時(shí)，因變量所期望的變化量。在回歸方程中表示自變量x 對(duì)因變量y 影響大小的參數(shù)。回歸系數(shù)越大表示x 對(duì)y 影響越大，正回歸系數(shù)表示y 隨x 增大而增大，負(fù)回歸系數(shù)表示y 隨x 增大而減小。回歸方程式Y(jié)=bX+a中之斜率b,稱為回歸系數(shù),表X每變動(dòng)一單位,平均而言，Y將變動(dòng)b單位。

如果模型中存在多重共線性，這意味著一些自變量是相關(guān)的，簡(jiǎn)單的說(shuō)一個(gè)變量的變化與另一個(gè)變量的變化相關(guān)。相關(guān)性越強(qiáng)，在不改變另一個(gè)輸入的情況下解釋每次輸入變化的輸出變化就越困難。所以會(huì)降低估計(jì)系數(shù)的精度或降低模型的性能。

如何消除多重共線性？

這里有一些推薦的方法來(lái)消除或減少線性回歸模型中的多重共線性

• 保留一個(gè)變量并刪除與保留變量高度相關(guān)的其他變量
• 將相關(guān)變量線性組合在一起
• 使用對(duì)高度相關(guān)的特征進(jìn)行降維，例如PCA
• LASSO 或 Ridge 回歸是回歸分析的高級(jí)形式，可以處理多重共線性

編輯：文婧