【Python數(shù)據(jù)分析基礎(chǔ)】: 數(shù)據(jù)缺失值處理

圣人曾說(shuō)過(guò)：數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個(gè)上限而已。

再好的模型，如果沒(méi)有好的數(shù)據(jù)和特征質(zhì)量，那訓(xùn)練出來(lái)的效果也不會(huì)有所提高。數(shù)據(jù)質(zhì)量對(duì)于數(shù)據(jù)分析而言是至關(guān)重要的，有時(shí)候它的意義會(huì)在某種程度上會(huì)勝過(guò)模型算法。

本篇開(kāi)始分享如何使用Python進(jìn)行數(shù)據(jù)分析，主要側(cè)重介紹一些分析的方法和技巧，而對(duì)于pandas和numpy等Pyhon計(jì)算包的使用會(huì)在問(wèn)題中提及，但不詳細(xì)介紹。本篇我們來(lái)說(shuō)說(shuō)面對(duì)數(shù)據(jù)的缺失值，我們?cè)撊绾翁幚怼Ｎ哪┯胁┲骺偨Y(jié)的思維導(dǎo)圖。

首先我們應(yīng)該知道：數(shù)據(jù)為什么缺失？數(shù)據(jù)的缺失是我們無(wú)法避免的，可能的原因有很多種，博主總結(jié)有以下三大類：

• 無(wú)意的：信息被遺漏，比如由于工作人員的疏忽，忘記而缺失；或者由于數(shù)據(jù)采集器等故障等原因造成的缺失，比如系統(tǒng)實(shí)時(shí)性要求較高的時(shí)候，機(jī)器來(lái)不及判斷和決策而造成缺失；

• 有意的：有些數(shù)據(jù)集在特征描述中會(huì)規(guī)定將缺失值也作為一種特征值，這時(shí)候缺失值就可以看作是一種特殊的特征值；

• 不存在：有些特征屬性根本就是不存在的，比如一個(gè)未婚者的配偶名字就沒(méi)法填寫(xiě)，再如一個(gè)孩子的收入狀況也無(wú)法填寫(xiě)；

總而言之，對(duì)于造成缺失值的原因，我們需要明確：是因?yàn)槭韬龌蜻z漏無(wú)意而造成的，還是說(shuō)故意造成的，或者說(shuō)根本不存在。只有知道了它的來(lái)源，我們才能對(duì)癥下藥，做相應(yīng)的處理。

在對(duì)缺失數(shù)據(jù)進(jìn)行處理前，了解數(shù)據(jù)缺失的機(jī)制和形式是十分必要的。將數(shù)據(jù)集中不含缺失值的變量稱為完全變量，數(shù)據(jù)集中含有缺失值的變量稱為不完全變量。而從缺失的分布來(lái)將缺失可以分為完全隨機(jī)缺失，隨機(jī)缺失和完全非隨機(jī)缺失。

• 完全隨機(jī)缺失（missing completely at random,MCAR）：指的是數(shù)據(jù)的缺失是完全隨機(jī)的，不依賴于任何不完全變量或完全變量，不影響樣本的無(wú)偏性，如家庭地址缺失；

• 隨機(jī)缺失(missing at random,MAR)：指的是數(shù)據(jù)的缺失不是完全隨機(jī)的，即該類數(shù)據(jù)的缺失依賴于其他完全變量，如財(cái)務(wù)數(shù)據(jù)缺失情況與企業(yè)的大小有關(guān)；

• 非隨機(jī)缺失(missing not at random,MNAR)：指的是數(shù)據(jù)的缺失與不完全變量自身的取值有關(guān)，如高收入人群不原意提供家庭收入；

對(duì)于隨機(jī)缺失和非隨機(jī)缺失，直接刪除記錄是不合適的，原因上面已經(jīng)給出。隨機(jī)缺失可以通過(guò)已知變量對(duì)缺失值進(jìn)行估計(jì)，而非隨機(jī)缺失的非隨機(jī)性還沒(méi)有很好的解決辦法。

重點(diǎn)來(lái)了，對(duì)于各種類型數(shù)據(jù)的缺失，我們到底要如何處理呢？以下是處理缺失值的四種方法：刪除記錄，數(shù)據(jù)填補(bǔ)，和不處理。

1. 刪除記錄

#刪除數(shù)據(jù)表中含有空值的行
df.dropna(how='any')

2. 數(shù)據(jù)填補(bǔ)

對(duì)缺失值的插補(bǔ)大體可分為兩種：替換缺失值，擬合缺失值，虛擬變量。替換是通過(guò)數(shù)據(jù)中非缺失數(shù)據(jù)的相似性來(lái)填補(bǔ)，其核心思想是發(fā)現(xiàn)相同群體的共同特征，擬合是通過(guò)其他特征建模來(lái)填補(bǔ)，虛擬變量是衍生的新變量代替缺失值。

替換缺失值

• 均值插補(bǔ)：

#使用price均值對(duì)NA進(jìn)行填充
df['price'].fillna(df['price'].mean())
df['price'].fillna(df['price'].median())

• 熱卡填補(bǔ)（Hot deck imputation）：

• K最近距離鄰法（K-means clustering）

擬合缺失值

擬合就是利用其它變量做模型的輸入進(jìn)行缺失變量的預(yù)測(cè)，與我們正常建模的方法一樣，只是目標(biāo)變量變?yōu)榱巳笔е怠?/strong>

注：如果其它特征變量與缺失變量無(wú)關(guān)，則預(yù)測(cè)的結(jié)果毫無(wú)意義。如果預(yù)測(cè)結(jié)果相當(dāng)準(zhǔn)確，則又說(shuō)明這個(gè)變量完全沒(méi)有必要進(jìn)行預(yù)測(cè)，因?yàn)檫@必然是與特征變量間存在重復(fù)信息。一般情況下，會(huì)介于兩者之間效果為最好，若強(qiáng)行填補(bǔ)缺失值之后引入了自相關(guān)，這會(huì)給后續(xù)分析造成障礙。

利用模型預(yù)測(cè)缺失變量的方法有很多，這里僅簡(jiǎn)單介紹幾種。

• 回歸預(yù)測(cè)：

• 極大似然估計(jì)（Maximum likelyhood）：

• 多重插補(bǔ)（Mutiple imputation）：
  

• 隨機(jī)森林：

def?set_missing_ages(df):

????#?把已有的數(shù)值型特征取出來(lái)丟進(jìn)Random?Forest?Regressor中
????age_df?=?df[['Age','Fare',?'Parch',?'SibSp',?'Pclass']]

????#?乘客分成已知年齡和未知年齡兩部分
????known_age?=?age_df[age_df.Age.notnull()].as_matrix()
????unknown_age?=?age_df[age_df.Age.isnull()].as_matrix()

????#?y即目標(biāo)年齡
????y?=?known_age[:,?0]

????#?X即特征屬性值
????X?=?known_age[:,?1:]

????#?fit到RandomForestRegressor之中
????rfr?=?RandomForestRegressor(random_state=0,?n_estimators=2000,?n_jobs=-1)
????rfr.fit(X,?y)

????#?用得到的模型進(jìn)行未知年齡結(jié)果預(yù)測(cè)
????predictedAges?=?rfr.predict(unknown_age[:,?1:])
#?????print?predictedAges
????#?用得到的預(yù)測(cè)結(jié)果填補(bǔ)原缺失數(shù)據(jù)
????df.loc[?(df.Age.isnull()),?'Age'?]?=?predictedAges?

????return?df,?rfr

虛擬變量

data_train['CabinCat']?=?data_train['Cabin'].copy()
data_train.loc[?(data_train.CabinCat.notnull()),?'CabinCat'?]?=?"No"
data_train.loc[?(data_train.CabinCat.isnull()),?'CabinCat'?]?=?"Yes"

fig,?ax?=?plt.subplots(figsize=(10,5))
sns.countplot(x='CabinCat',?hue='Survived',data=data_train)
plt.show()

data_train[['Cabin','CabinCat']].head(10)

3. 不處理

總而言之，大部分?jǐn)?shù)據(jù)挖掘的預(yù)處理都會(huì)使用比較方便的方法來(lái)處理缺失值，比如均值法，但是效果上并一定好，因此還是需要根據(jù)不同的需要選擇合適的方法，并沒(méi)有一個(gè)解決所有問(wèn)題的萬(wàn)能方法。具體的方法采用還需要考慮多個(gè)方面的：

• 數(shù)據(jù)缺失的原因；

• 數(shù)據(jù)缺失值類型；

• 樣本的數(shù)據(jù)量；

• 數(shù)據(jù)缺失值隨機(jī)性等；

關(guān)于數(shù)據(jù)缺失值得思維導(dǎo)圖：

如果大家有任何好的其他方法，歡迎補(bǔ)充。

參考：

http://www.restore.ac.uk/PEAS/imputation.php

https://blog.csdn.net/lujiandong1/article/details/52654703

http://blog.sina.com.cn/s/blog_4b0f1da60101d8yb.html

https://www.cnblogs.com/Acceptyly/p/3985687.html

推薦閱讀：

【1】【Kaggle入門(mén)級(jí)競(jìng)賽top5%排名經(jīng)驗(yàn)分享】— 分析篇