獨(dú)家 | 降維是數(shù)據(jù)科學(xué)家的必由之路
作者：shanthababu 翻譯：王可汗
校對(duì)：歐陽錦
本文約2200字，建議閱讀10分鐘
本文為大家介紹了降維的概念及降維技術(shù)主成分分析（PCA）在特征工程中的應(yīng)用。
https://datahack.analyticsvidhya.com/contest/data-science-blogathon-7/
1-D，2-D
它有助于消除冗余的特征和噪聲誤差因素，最終增強(qiáng)給定數(shù)據(jù)集的可視化。
由于降低了維度，可以表現(xiàn)出優(yōu)秀的內(nèi)存管理。
通過從數(shù)據(jù)集中刪除不必要的特征列表來選擇正確的特征，從而提高模型的性能。
當(dāng)然，更少的維度(強(qiáng)制性的維度列表)需要更少的計(jì)算效率，更快地訓(xùn)練模型，提高模型的準(zhǔn)確性。
大大降低了整個(gè)模型及其性能的復(fù)雜性和過擬合。
# Import all the necessary packagesimport pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsfrom sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LinearRegressionfrom sklearn.metrics import confusion_matrixfrom sklearn.metrics import accuracy_scorefrom sklearn import metrics%matplotlib inlineimport matplotlib.pyplot as plt%matplotlib inlinewq_dataset = pd.read_csv('winequality.csv')
wq_dataset.head(5)
wq_dataset.describe()
wq_dataset.isnull().any()
correlations = wq_dataset.corr()['quality'].drop('quality')print(correlations)
sns.heatmap(wq_dataset.corr())plt.show()
x = wq_dataset[features]y = wq_dataset['quality'][‘fixed acidity’, ‘volatile acidity’, ‘citric acid’, ‘chlorides’, ‘total sulfur dioxide’, ‘density’, ‘sulphates’, ‘a(chǎn)lcohol’]
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=3)print('Traning data shape:', x_train.shape)print('Testing data shape:', x_test.shape)Traning data shape: (1199, 8)Testing data shape: (400, 8)
from sklearn.decomposition import PCApca_wins = PCA(n_components=2)principalComponents_wins = pca_wins.fit_transform(x)
pcs_wins_df = pd.DataFrame(data = principalComponents_wins, columns = ['principal component 1', 'principal component 2'])pcs_wins_df.head()
print('Explained variation per principal component: {}'.format(pca_wins.explained_variance_ratio_))Explained variation per principal component: [0.99615166 0.00278501]
邏輯回歸
隨機(jī)森林
KNN
樸素貝葉斯
原文標(biāo)題：
Dimensionality Reduction a Descry for Data Scientist
原文鏈接：
https://www.analyticsvidhya.com/blog/2021/04/dimensionality-reduction-a-descry-for-data-scientist/
譯者簡(jiǎn)介
王可汗，清華大學(xué)機(jī)械工程系直博生在讀。曾經(jīng)有著物理專業(yè)的知識(shí)背景，研究生期間對(duì)數(shù)據(jù)科學(xué)產(chǎn)生濃厚興趣，對(duì)機(jī)器學(xué)習(xí)AI充滿好奇。期待著在科研道路上，人工智能與機(jī)械工程、計(jì)算物理碰撞出別樣的火花。希望結(jié)交朋友分享更多數(shù)據(jù)科學(xué)的故事，用數(shù)據(jù)科學(xué)的思維看待世界。
翻譯組招募信息
工作內(nèi)容：需要一顆細(xì)致的心，將選取好的外文文章翻譯成流暢的中文。如果你是數(shù)據(jù)科學(xué)/統(tǒng)計(jì)學(xué)/計(jì)算機(jī)類的留學(xué)生，或在海外從事相關(guān)工作，或?qū)ψ约和庹Z水平有信心的朋友歡迎加入翻譯小組。
你能得到：定期的翻譯培訓(xùn)提高志愿者的翻譯水平，提高對(duì)于數(shù)據(jù)科學(xué)前沿的認(rèn)知，海外的朋友可以和國內(nèi)技術(shù)應(yīng)用發(fā)展保持聯(lián)系，THU數(shù)據(jù)派產(chǎn)學(xué)研的背景為志愿者帶來好的發(fā)展機(jī)遇。
其他福利：來自于名企的數(shù)據(jù)科學(xué)工作者，北大清華以及海外等名校學(xué)生他們都將成為你在翻譯小組的伙伴。
點(diǎn)擊文末“閱讀原文”加入數(shù)據(jù)派團(tuán)隊(duì)~
轉(zhuǎn)載須知
如需轉(zhuǎn)載，請(qǐng)?jiān)陂_篇顯著位置注明作者和出處（轉(zhuǎn)自：數(shù)據(jù)派ID：DatapiTHU），并在文章結(jié)尾放置數(shù)據(jù)派醒目二維碼。有原創(chuàng)標(biāo)識(shí)文章，請(qǐng)發(fā)送【文章名稱-待授權(quán)公眾號(hào)名稱及ID】至聯(lián)系郵箱，申請(qǐng)白名單授權(quán)并按要求編輯。
發(fā)布后請(qǐng)將鏈接反饋至聯(lián)系郵箱（見下方）。未經(jīng)許可的轉(zhuǎn)載以及改編者，我們將依法追究其法律責(zé)任。
點(diǎn)擊“閱讀原文”擁抱組織