機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí)詳解！

?板給了你?個(gè)關(guān)于癌癥檢測(cè)的數(shù)據(jù)集，你構(gòu)建了?分類器然后計(jì)算了準(zhǔn)確率為 98%， 你是否對(duì)這個(gè)模型滿意？為什么？如果還不算理想，接下來(lái)該怎么做？

首先模型主要是找出患有癌癥的患者，模型關(guān)注的實(shí)際是壞樣本。其次一般來(lái)說(shuō)癌癥的數(shù)據(jù)集中壞樣本比較少，正負(fù)樣本不平衡。

準(zhǔn)確率指的是分類正確的樣本占總樣本個(gè)數(shù)的比率

其中為正確分類樣本的個(gè)數(shù)，為總樣本分類的個(gè)數(shù)。

當(dāng)好樣本(未患病)的樣本數(shù)占99%時(shí)，模型把所有的樣本全部預(yù)測(cè)為好樣本也可以獲得99%的準(zhǔn)確率，所以當(dāng)正負(fù)樣本非常不平衡時(shí)，準(zhǔn)確率往往會(huì)偏向占比大的類別，因此這個(gè)模型使用準(zhǔn)確率作為模型的評(píng)估方式并不合適。

鑒于模型關(guān)注的實(shí)際是壞樣本，建議使用召回率(Recall)作為模型的評(píng)估函數(shù)。

Recall 是分類器所預(yù)測(cè)正確的正樣本占所有正樣本的比例，取值范圍為[0,1]，取值越大，模型預(yù)測(cè)能力越好。

其次，使用類別不平衡的解決方案：

常見(jiàn)的處理數(shù)據(jù)不平衡的方法有：重采樣、Tomek links、SMOTE、NearMiss等

除此之外：還可以使用模型處理：使用多種樹模型算法，使用多種重采樣的訓(xùn)練集，對(duì)少數(shù)樣本預(yù)測(cè)錯(cuò)誤增大懲罰，避免使用Accuracy，可以用confusion matrix，precision，recall，f1-score，AUC，ROC等指標(biāo)。

怎么判斷?個(gè)訓(xùn)練好的模型是否過(guò)擬合？如果判斷成了過(guò)擬合，那通過(guò)什么辦法 可以解決過(guò)擬合問(wèn)題？

模型在驗(yàn)證集合上和訓(xùn)練集合上表現(xiàn)都很好，而在測(cè)試集合上變現(xiàn)很差。

解決過(guò)擬合的辦法：

• 特征降維

• 添加正則化，降低模型的復(fù)雜度

• Dropout

• Early stopping

• 交叉驗(yàn)證

• 決策樹剪枝

• 選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)

什么是閉式解(Closed-Form Solution)？

關(guān)于正則，我們?般采? L2 或者 L1, 這兩個(gè)正則之間有什么區(qū)別？什么時(shí)候需要? L2， 什么時(shí)候需要? L1?

L1正則化（也叫Lasso回歸）是在目標(biāo)函數(shù)中加上與系數(shù)的絕對(duì)值相關(guān)的項(xiàng)，而L2正則化（也叫嶺回歸）則是在目標(biāo)函數(shù)中加上與系數(shù)的平方相關(guān)的項(xiàng)。

Lasso 和嶺回歸系數(shù)估計(jì)是由橢圓和約束函數(shù)域的第一個(gè)交點(diǎn)給出的。因?yàn)閹X回歸的約束函數(shù)域沒(méi)有尖角，所以這個(gè)交點(diǎn)一般不會(huì)產(chǎn)生在一個(gè)坐標(biāo)軸上，也就是說(shuō)嶺回歸的系數(shù)估計(jì)全都是非零的。然而，Lasso 約束函數(shù)域在每個(gè)軸上都有尖角，因此橢圓經(jīng)常和約束函數(shù)域相交。發(fā)生這種情況時(shí)，其中一個(gè)系數(shù)就會(huì)等于 0。

L2正則化會(huì)使參數(shù)的絕對(duì)值變小，增強(qiáng)模型的穩(wěn)定性（不會(huì)因?yàn)閿?shù)據(jù)變化而產(chǎn)生很大的震蕩）；而L1正則化會(huì)使一些參數(shù)為零,可以實(shí)現(xiàn)特征稀疏, 增強(qiáng)模型解釋性。

參考：https://blog.csdn.net/zouxy09/article/details/24971995/

相關(guān)概念：凸集，凸函數(shù)

因此證明正則項(xiàng)是否是凸函數(shù)，需要證明：

1. ?在 上二階連續(xù)可微

2.的Hessian(海塞)矩陣在 上是半正定

3.半正定矩陣的判定定理之一：若實(shí)對(duì)稱矩陣的所有順序主子式均為非負(fù)，則該矩陣為半 正定矩陣。

參考：https://www.bilibili.com/video/BV1Mh411e7VU?p=2

什么叫 ElasticNet? 它主要?來(lái)解決什么問(wèn)題？具體如何去優(yōu)化？

彈性回歸是嶺回歸和lasso回歸的混合技術(shù)，它同時(shí)使用 L2 和 L1 正則化。當(dāng)有多個(gè)相關(guān)的特征時(shí)，彈性網(wǎng)絡(luò)是有用的。lasso回歸很可能隨機(jī)選擇其中一個(gè)，而彈性回歸很可能都會(huì)選擇。

• 在高度相關(guān)變量的情況下，它支持群體效應(yīng)。
• 它對(duì)所選變量的數(shù)目沒(méi)有限制
• 它具有兩個(gè)收縮因子 λ1 和 λ2。

什么叫?成模型，什么叫判別模型？樸素?貝葉斯，邏輯回歸，HMM，語(yǔ)?模型 中哪?個(gè)是?成模型，哪?個(gè)是判別模型？

生成模型（Generaive Model）一般以概率的方式描述了數(shù)據(jù)的產(chǎn)生方式，通過(guò)對(duì)模型采樣就可以產(chǎn)生數(shù)據(jù)。

判別模型（Discriminative Model）對(duì)數(shù)據(jù)之間的映射關(guān)系建模，而不考慮數(shù)據(jù)本身是如何生成的。判別模型可以根據(jù)給定的數(shù)據(jù)x預(yù)測(cè)對(duì)應(yīng)的y（回歸），或根據(jù)不同的映射結(jié)果y來(lái)區(qū)分（discriminate）給定的數(shù)據(jù)x （分類）。但模型自身并不能產(chǎn)生數(shù)據(jù)x 。

生成模型對(duì)數(shù)據(jù)本身建模，更基礎(chǔ)。判別模型只考慮輸入和輸出之間的關(guān)系，更直接地面向問(wèn)題。如果希望用生成模型完成判定模型的任務(wù)，一般需要額外的步驟。