講講PCA主成分分析

在機(jī)器學(xué)習(xí)的領(lǐng)域中，我們對原始數(shù)據(jù)進(jìn)行特征提取，經(jīng)常會(huì)得到高維度的特征向量。在這些多特征的高維空間中，會(huì)包含一些冗余和噪聲。所以我們希望通過降維的方式來尋找數(shù)據(jù)內(nèi)部的特性，提升特征表達(dá)能力，降低模型的訓(xùn)練成本。PCA是一種降維的經(jīng)典算法，屬于線性、非監(jiān)督、全局的降維方法。

?? ?

01

? ??

? ? ? ? ? ? ?

? ? ? ? ? ? ?

? ? ? ? ? ? ?PCA原理

PCA的原理是線性映射，簡單的說就是將高維空間數(shù)據(jù)投影到低維空間上，然后將數(shù)據(jù)包含信息量大的主成分保留下來，忽略掉對數(shù)據(jù)描述不重要的次要信息。而對于正交屬性空間中的樣本，如何用一個(gè)超平面對所有樣本進(jìn)行恰當(dāng)合適的表達(dá)呢？若存在這樣的超平面，應(yīng)該具有兩種性質(zhì)：

• 所有樣本點(diǎn)到超平面的距離最近
• 樣本點(diǎn)在這個(gè)超平面的投影盡可能分開

以上兩種性質(zhì)便是主成分分析的兩種等價(jià)的推導(dǎo)，即PCA最小平方誤差理論和PCA最大方差理論，本篇主要為大家介紹最大方差理論。

?

PCA的降維操作是選取數(shù)據(jù)離散程度最大的方向(方差最大的方向)作為第一主成分，第二主成分選擇方差次大的方向，并且與第一個(gè)主成分正交。不算重復(fù)這個(gè)過程直到找到k個(gè)主成分。

數(shù)據(jù)點(diǎn)分布在主成分方向上的離散程度最大，且主成分向量彼此之間正交；

?? ?

02

? ??

PCA算法實(shí)現(xiàn)步驟

1、對所有數(shù)據(jù)特征進(jìn)行中心化和歸一化

對樣本進(jìn)行平移使其重心在原點(diǎn)，并且消除不同特征數(shù)值大小的影響，轉(zhuǎn)換為統(tǒng)一量綱：

2、計(jì)算樣本的協(xié)方差矩陣

協(xié)方差是對兩個(gè)隨機(jī)變量聯(lián)合分布線性相關(guān)程度的一種度量；

3、對協(xié)方差矩陣求解特征值和特征向量

注意點(diǎn)：

1、對稱矩陣的特征向量相互正交，其點(diǎn)乘為0

2、數(shù)據(jù)點(diǎn)在特征向量上投影的方差，為對應(yīng)的特征值，選擇特征值大的特征向量，就是選擇點(diǎn)投影方差大的方向，即是具有高信息量的主成分；次佳投影方向位于最佳投影方向的正交空間，是第二大特征值對應(yīng)的特征向量，以此類推；

?

4、選取k個(gè)最大大特征值對應(yīng)的特征向量，即是k個(gè)主成分

U是協(xié)方差矩陣所有的特征向量構(gòu)成的矩陣，對應(yīng)的特征值滿足：λ1>λ2>?>λn，同時(shí)使其滿足在主成分向量上投影的方差和占總方差的99%或者95%以上，即確定了k的選取。

?

?? ?

03

? ??

降維python實(shí)現(xiàn)

1、配置環(huán)境，導(dǎo)入相關(guān)包

2、讀取數(shù)據(jù)

3、讀取特征、標(biāo)簽列，并進(jìn)行中心化歸一化，選取主成分個(gè)數(shù)，前2個(gè)主成分的方差和>95%

4、將降維后特征可視化，橫縱坐標(biāo)代表兩個(gè)主成分，顏色代表結(jié)果標(biāo)簽分類，即可根據(jù)主成分進(jìn)行后續(xù)分析、建模

---

以上PCA主成分分析就講完了，本文進(jìn)行了樣本點(diǎn)在超平面的投影盡可能分開的推導(dǎo)原理闡述，大家感興趣的可以研究另一種等價(jià)推導(dǎo)，即樣本點(diǎn)到超平面的距離最近；

--------? ?往 期 推 薦??----------

▼

• [PPT福利領(lǐng)取】分享一些高大上、有逼格的PPT模板
  

• [數(shù)據(jù)產(chǎn)品筆記】二、數(shù)據(jù)可視化設(shè)計(jì)規(guī)范
  

• 2021年讓我們做個(gè)深度思考的人

• 我所理解的【數(shù)據(jù)中臺】建設(shè)方法論

• 超級PPT福利貼 | 免費(fèi)PPT素材資源領(lǐng)取

• [阿里首次公開]-數(shù)據(jù)中臺實(shí)踐完整版（附下載）

• 用過往的經(jīng)歷，聊聊數(shù)據(jù)分析這個(gè)職業(yè)

? ??