（附代碼）一文讀懂特征工程

作者 | 正陽@知乎

鏈接 | https://www.zhihu.com/people/sun.zhengyang

什么是特征工程？特征工程解決了什么問題？為什么特征工程對機器學習很重要？怎么做特征工程？怎么做好特征工程？集眾多博友智慧，一文全面了解并應用特征工程。

1 定義及意義

（1）定義

• 特征工程（Feature Engineering）特征工程是將原始數(shù)據(jù)轉(zhuǎn)化成更好的表達問題本質(zhì)的特征的過程，使得將這些特征運用到預測模型中能提高對不可見數(shù)據(jù)的模型預測精度。
• 特征工程簡單講就是發(fā)現(xiàn)對因變量y有明顯影響作用的特征，通常稱自變量x為特征，特征工程的目的是發(fā)現(xiàn)重要特征。
• 如何能夠分解和聚合原始數(shù)據(jù)，以更好的表達問題的本質(zhì)？這是做特征工程的目的?！癴eature engineering is manually designing what the input x’s should be.” “you have to turn your inputs into things the algorithm can understand.”
  
• 特征工程是數(shù)據(jù)挖掘模型開發(fā)中最耗時、最重要的一步。

（2）意義

• 特征工程是一個包含內(nèi)容很多的主題，也被認為是成功應用機器學習的一個很重要的環(huán)節(jié)。如何充分利用數(shù)據(jù)進行預測建模就是特征工程要解決的問題！“實際上，所有機器學習算法的成功取決于如何呈現(xiàn)數(shù)據(jù)?！?“特征工程是一個看起來不值得在任何論文或者書籍中被探討的一個主題。但是他卻對機器學習的成功與否起著至關(guān)重要的作用。機器學習算法很多都是由于建立一個學習器能夠理解的工程化特征而獲得成功的?！薄猄cottLocklin，in “Neglected machine learning ideas”
  
• 數(shù)據(jù)中的特征對預測的模型和獲得的結(jié)果有著直接的影響。可以這樣認為，特征選擇和準備越好，獲得的結(jié)果也就越好。這是正確的，但也存在誤導。預測的結(jié)果其實取決于許多相關(guān)的屬性：比如說能獲得的數(shù)據(jù)、準備好的特征以及模型的選擇。

（3）相關(guān)概念

1）特征與屬性的區(qū)別？

2）什么是特征重要性？

2 流程及方法

1 數(shù)據(jù)結(jié)構(gòu)

2 質(zhì)量檢驗

標準性、唯一性、有效性、正確性、一致性、缺失值、異常值、重復值

3 分布情況

統(tǒng)計值

探索性數(shù)據(jù)分析（EDA，Exploratory Data Analysis）

集中趨勢、離中趨勢、分布形狀

1 數(shù)據(jù)預處理

（1）缺失值處理

1）缺失值刪除（dropna）

①刪除實例

②刪除特征

2）缺失值填充（fillna）

①用固定值填充

data['灰度分'] = data['灰度分'].fillna('-99')

②用均值填充

data['灰度分'] = data['灰度分'].fillna(data['灰度分'].mean()))

③用眾數(shù)填充

data['灰度分'] = data['灰度分'].fillna(data['灰度分'].mode()))

④用上下數(shù)據(jù)進行填充

• 用前一個數(shù)據(jù)進行填充

data['灰度分'] = data['灰度分'].fillna(method='pad')

• 用后一個數(shù)據(jù)進行填充

data['灰度分'] = data['灰度分'].fillna(method='bfill')

⑤用插值法填充

data['灰度分'] = data['灰度分'].interpolate()

⑥用KNN進行填充

from fancyimpute import BiScaler, KNN, NuclearNormMinimization, SoftImputedataset = KNN(k=3).complete(dataset)

⑦random forest進行填充

from sklearn.ensemble import RandomForestRegressorzero_columns_2 = ['機構(gòu)查詢數(shù)量', '直接聯(lián)系人數(shù)量', '直接聯(lián)系人在黑名單數(shù)量', '間接聯(lián)系人在黑名單數(shù)量',                '引起黑名單的直接聯(lián)系人數(shù)量', '引起黑名單的直接聯(lián)系人占比']#將出現(xiàn)空值的除了預測的列全部取出來，不用于訓練dataset_list2 = [x for x in dataset if x not in zero_columns_2]dataset_2 = dataset[dataset_list2]# 取出灰度分不為空的全部樣本進行訓練know = dataset_2[dataset_2['灰度分'].notnull()]print(know.shape) #26417, 54# 取出灰度分為空的樣本用于填充空值unknow = dataset_2[dataset_2['灰度分'].isnull()]print(unknow.shape) #2078, 54y = ['灰度分']x = [1]know_x2 = know.copy()know_y2 = know.copy()print(know_y2.shape)#know_x2.drop(know_x2.columns[x], axis=1, inplace=True)print(know_y2.shape)print(know_x2.shape)#know_y2 = know[y]# RandomForestRegressorrfr = RandomForestRegressor(random_state=666, n_estimators=2000, n_jobs=-1)rfr.fit(know_x2, know_y2)# 填充為空的樣本unknow_x2 = unknow.copy()unknow_x2.drop(unknow_x2.columns[x], axis=1, inplace=True)print(unknow_x2.shape) #(2078, 53)unknow_y2 = rfr.predict(unknow_x2)unknow_y2 = pd.DataFrame(unknow_y2, columns=['灰度分'])

⑧使用fancyimpute包中的其他方法

# matrix completion using convex optimization to find low-rank solution# that still matches observed values. Slow!X_filled_nnm = NuclearNormMinimization().complete(X_incomplete)# Instead of solving the nuclear norm objective directly, instead# induce sparsity using singular value thresholdingX_filled_softimpute = SoftImpute().complete(X_incomplete_normalized)# print mean squared error for the three imputation methods abovennm_mse = ((X_filled_nnm[missing_mask] - X[missing_mask]) ** 2).mean()# print mean squared error for the three imputation methods abovennm_mse = ((X_filled_nnm[missing_mask] - X[missing_mask]) ** 2).mean()print("Nuclear norm minimization MSE: %f" % nnm_mse)softImpute_mse = ((X_filled_softimpute[missing_mask] - X[missing_mask]) ** 2).mean()print("SoftImpute MSE: %f" % softImpute_mse)knn_mse = ((X_filled_knn[missing_mask] - X[missing_mask]) ** 2).mean()print("knnImpute MSE: %f" % knn_mse)

⑨缺失值作為數(shù)據(jù)的一部分不填充

（2）異常值處理

1）特征異常平滑

• 基于統(tǒng)計的異常點檢測算法 例如極差，四分位數(shù)間距，均差，標準差等，這種方法適合于挖掘單變量的數(shù)值型數(shù)據(jù)。
• 基于距離的異常點檢測算法 主要通過距離方法來檢測異常點，將數(shù)據(jù)集中與大多數(shù)點之間距離大于某個閾值的點視為異常點，主要使用的距離度量方法有絕對距離(曼哈頓距離)、歐氏距離和馬氏距離等方法。
• 基于密度的異常點檢測算法 考察當前點周圍密度，可以發(fā)現(xiàn)局部異常點。

（3）重復值處理

（4）數(shù)據(jù)格式處理

• 數(shù)字類型的轉(zhuǎn)換
• 數(shù)字單位的調(diào)整
• 時間格式的處理

（5）數(shù)據(jù)采樣

2 特征轉(zhuǎn)換

（1）連續(xù)型特征處理

1）函數(shù)轉(zhuǎn)換

2）特征縮放

3）無量綱化

①標準化

· 均值方差法

· z-score標準化

· StandardScaler標準化

from sklearn.preprocessing import StandardScaler#標準化，返回值為標準化后的數(shù)據(jù)StandardScaler().fit_transform(iris.data)

②歸一化

· 最大最小歸一化（最常用）

· 對數(shù)函數(shù)轉(zhuǎn)換（log）

· 反余切轉(zhuǎn)換

from sklearn.preprocessing import Normalizer#歸一化，返回值為歸一化后的數(shù)據(jù)Normalizer().fit_transform(iris.data)

③區(qū)間縮放法

from sklearn.preprocessing import MinMaxScaler#區(qū)間縮放，返回值為縮放到[0, 1]區(qū)間的數(shù)據(jù)MinMaxScaler().fit_transform(iris.data)壓縮范圍有些分類變量的少部分取值可能占據(jù)了90%的case，這種情況下可以采用預測模型、領(lǐng)域?qū)＜?、或者簡單的頻率分布統(tǒng)計。具體問題具體分析，高頻和低頻都是需要特別處理的地方，拋棄效果不好時，可以考慮采樣（高頻）或上采樣（低頻），加權(quán)等等方法。

4）二值化（定量特征）

from sklearn.preprocessing import Binarizer #二值化，閾值設(shè)置為3，返回值為二值化后的數(shù)據(jù)Binarizer(threshold=3).fit_transform(iris.data)

5）離散化分箱處理(數(shù)值型轉(zhuǎn)類別型)

6）不處理

（2）離散型特征處理

1）數(shù)值化處理

2）啞編碼

①獨熱編碼(one-hot)

②順序性啞變量

（3）時間序列處理

1）時間戳處理

1 特征檢驗

（1）單變量

1）正態(tài)性檢驗

2）顯著性分析

（2）多變量

1）一致性檢驗

2）多重共線性

2 特征選擇

（1）定義

（2）作用

• 簡化模型，增加模型的可解釋性
• 縮短訓練時間
• 避免維度災難
• 改善模型通用性、降低過擬合

（3）方法

1）過濾式（Filter）

①方差選擇法

from sklearn.feature_selection import VarianceThreshold#方差選擇法，返回值為特征選擇后的數(shù)據(jù)#參數(shù)threshold為方差的閾值VarianceThreshold(threshold=3).fit_transform(iris.data)

②相關(guān)系數(shù)法

from sklearn.feature_selection import SelectKBestfrom scipy.stats import pearsonr#選擇K個最好的特征，返回選擇特征后的數(shù)據(jù)#第一個參數(shù)為計算評估特征是否好的函數(shù)，該函數(shù)輸入特征矩陣和目標向量，輸出二元組（評分，P值）的數(shù)組，數(shù)組第i項為第i個特征的評分和P值。在此定義為計算相關(guān)系數(shù)#參數(shù)k為選擇的特征個數(shù)SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

③互信息法

from sklearn.feature_selection import SelectKBestfrom minepy import MINE#由于MINE的設(shè)計不是函數(shù)式的，定義mic方法將其為函數(shù)式的，返回一個二元組，二元組的第2項設(shè)置成固定的P值0.5def mic(x, y):    m = MINE()    m.compute_score(x, y)    return (m.mic(), 0.5)#選擇K個最好的特征，返回特征選擇后的數(shù)據(jù)SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

④卡方檢驗（Chi-Square）

from sklearn.feature_selection import SelectKBestfrom sklearn.feature_selection import chi2#選擇K個最好的特征，返回選擇特征后的數(shù)據(jù)SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)

2）封裝式（Wrapper）

①完全搜索[窮舉]

· 遞歸特征消除法

· 遞歸特征消除法遞歸消除法

②啟發(fā)式搜索[貪心]

· 前向選擇法

· 后向剃除法

from sklearn.feature_selection import RFEfrom sklearn.linear_model import LogisticRegression#遞歸特征消除法，返回特征選擇后的數(shù)據(jù)#參數(shù)estimator為基模型#參數(shù)n_features_to_select為選擇的特征個數(shù)RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)

③隨機搜索[策略+好運氣]

3）嵌入式（Embedded）

①基于懲罰項

from sklearn.feature_selection import SelectFromModelfrom sklearn.linear_model import LogisticRegression#帶L1懲罰項的邏輯回歸作為基模型的特征選擇SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)

from sklearn.linear_model import LogisticRegression
class LR(LogisticRegression):    def __init__(self, threshold=0.01, dual=False, tol=1e-4, C=1.0,                 fit_intercept=True, intercept_scaling=1, class_weight=None,                 random_state=None, solver='liblinear', max_iter=100,                 multi_class='ovr', verbose=0, warm_start=False, n_jobs=1):
        #權(quán)值相近的閾值        self.threshold = threshold        LogisticRegression.__init__(self, penalty='l1', dual=dual, tol=tol, C=C,                 fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight=class_weight,                 random_state=random_state, solver=solver, max_iter=max_iter,                 multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)        #使用同樣的參數(shù)創(chuàng)建L2邏輯回歸        self.l2 = LogisticRegression(penalty='l2', dual=dual, tol=tol, C=C, fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight = class_weight, random_state=random_state, solver=solver, max_iter=max_iter, multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)
    def fit(self, X, y, sample_weight=None):        #訓練L1邏輯回歸        super(LR, self).fit(X, y, sample_weight=sample_weight)        self.coef_old_ = self.coef_.copy()        #訓練L2邏輯回歸        self.l2.fit(X, y, sample_weight=sample_weight)
        cntOfRow, cntOfCol = self.coef_.shape        #權(quán)值系數(shù)矩陣的行數(shù)對應目標值的種類數(shù)目        for i in range(cntOfRow):            for j in range(cntOfCol):                coef = self.coef_[i][j]                #L1邏輯回歸的權(quán)值系數(shù)不為0                if coef != 0:                    idx = [j]                    #對應在L2邏輯回歸中的權(quán)值系數(shù)                    coef1 = self.l2.coef_[i][j]                    for k in range(cntOfCol):                        coef2 = self.l2.coef_[i][k]                        #在L2邏輯回歸中，權(quán)值系數(shù)之差小于設(shè)定的閾值，且在L1中對應的權(quán)值為0                        if abs(coef1-coef2) < self.threshold and j != k and self.coef_[i][k] == 0:                            idx.append(k)                    #計算這一類特征的權(quán)值系數(shù)均值                    mean = coef / len(idx)                    self.coef_[i][idx] = mean        return self

from sklearn.feature_selection import SelectFromModel#帶L1和L2懲罰項的邏輯回歸作為基模型的特征選擇#參數(shù)threshold為權(quán)值系數(shù)之差的閾值SelectFromModel(LR(threshold=0.5, C=0.1)).fit_transform(iris.data, iris.target)

②基于樹模型

from sklearn.feature_selection import SelectFromModelfrom sklearn.ensemble import GradientBoostingClassifier#GBDT作為基模型的特征選擇SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)

③深度學習

3 特征構(gòu)造

（1）定義

（2）作用

（3）方法

1）簡單構(gòu)造

①四則運算

②特征交叉(組合分類特征)

③分解類別特征

④重構(gòu)數(shù)值量

⑤分解Datatime

⑥窗口變量統(tǒng)計

2）機器學習

①監(jiān)督式學習

②非監(jiān)督式學習

4 特征提取

（1）定義

（2）作用

（3）方法

1）線性降維

①主成分分析法（PCA）

from sklearn.decomposition import PCA#主成分分析法，返回降維后的數(shù)據(jù)#參數(shù)n_components為主成分數(shù)目PCA(n_components=2).fit_transform(iris.data)

②線性判別分析法（LDA）

from sklearn.lda import LDA#線性判別分析法，返回降維后的數(shù)據(jù)#參數(shù)n_components為降維后的維數(shù) LDA(n_components=2).fit_transform(iris.data, iris.target)

③局部線性嵌入/LLE

④拉普拉斯特征映射/LE

⑤隨機鄰域嵌入/SNE

⑥t-分布鄰域嵌入/T-SNE

2）非線性降維

①核主成分分析(KPCA):帶核函數(shù)的PCA

3）遷移學習降維

①遷移成分分析(TCA):不同領(lǐng)域之間遷移學習降維

1 作用

2 回歸預測問題

3 分類預測問題

END

雙一流大學研究生團隊創(chuàng)建，專注于目標檢測與深度學習，希望可以將分享變成一種習慣！

整理不易，點贊三連↓