數(shù)據(jù)分析面試考點！敲黑板！劃重點！

數(shù)據(jù)分析遵循一定的流程，不僅可以保證數(shù)據(jù)分析每一個階段的工作內(nèi)容有章可循，而且還可以讓分析最終的結(jié)果更加準確，更加有說服力。一般情況下，數(shù)據(jù)分析分為以下幾個步驟：

包括特征提取、特征構(gòu)建、特征選擇。特征工程的目的是篩選出更好的特征，獲取更好的訓練數(shù)據(jù)。因為好的特征具有更強的靈活性，可以用簡單的模型做訓練，更可以得到好的結(jié)果。

1. 數(shù)據(jù)采集

數(shù)據(jù)采集前需要明確采集哪些數(shù)據(jù)，一般的思路為：哪些數(shù)據(jù)對最后的結(jié)果預(yù)測有幫助？數(shù)據(jù)我們能夠采集到嗎？線上實時計算的時候獲取是否快捷？

舉例1：我現(xiàn)在要預(yù)測用戶對商品的下單情況，或者我要給用戶做商品推薦，那我需要采集什么信息呢？

• 店家：店鋪的評分、店鋪類別……

• 商品：商品評分、購買人數(shù)、顏色、材質(zhì)、領(lǐng)子形狀……

• 用戶：歷史信息（購買商品的最低價最高價）、消費能力、商品停留時間……

2. 數(shù)據(jù)清洗

數(shù)據(jù)清洗也是很重要的一步，機器學習算法大多數(shù)時候就是一個加工機器，至于最后的產(chǎn)品如何，取決于原材料的好壞。數(shù)據(jù)清洗就是要去除臟數(shù)據(jù)，比如某些商品的刷單數(shù)據(jù)。

那么如何判定臟數(shù)據(jù)呢？

數(shù)據(jù)清洗標準：

3. 數(shù)據(jù)采樣

采集、清洗過數(shù)據(jù)以后，正負樣本是不均衡的，要進行數(shù)據(jù)采樣。采樣的方法有隨機采樣和分層抽樣。但是隨機采樣會有隱患，因為可能某次隨機采樣得到的數(shù)據(jù)很不均勻，更多的是根據(jù)特征采用分層抽樣。

max-min：這種方法有一個缺陷就是當有新數(shù)據(jù)加入時，可能導致max和min的變化，需要重新定義。

Z-score：最常見的標準化方法就是Z標準化，也是SPSS中最為常用的標準化方法，spss默認的標準化方法就是z-score標準化。也叫標準差標準化，這種方法給予原始數(shù)據(jù)的均值（mean）和標準差（standard deviation）進行數(shù)據(jù)的標準化。經(jīng)過處理的數(shù)據(jù)符合標準正態(tài)分布，即均值為0，標準差為1，其轉(zhuǎn)化函數(shù)為：x?=x?μσ，其中μ為所有樣本數(shù)據(jù)的均值，σ為所有樣本數(shù)據(jù)的標準差。z-score標準化方法適用于屬性A的最大值和最小值未知的情況，或有超出取值范圍的離群數(shù)據(jù)的情況。

ROC（Receiver Operating Characteristic）曲線即受試者工作特征曲線 （receiver operating characteristic curve，簡稱ROC曲線），又稱為感受性曲線（sensitivity curve），用來評價一個二值分類器（binary classifier）的優(yōu)劣。

AUC（Area Under Curve）被定義為ROC曲線下的面積，這個面積的數(shù)值不會大于1。又由于ROC曲線一般都處于y=x這條直線的上方，所以AUC的取值范圍在0.5和1之間。使用AUC值作為評價標準是因為很多時候ROC曲線并不能清晰的說明哪個分類器的效果更好，而作為一個數(shù)值，對應(yīng)AUC更大的分類器效果更好。為什么呢，因為ROC曲線越接近左上角，AUC面積就越大，分類器性能就越好。

分組比較中都占優(yōu)勢的一方，在總評中有時反而是失勢的一方。即，數(shù)據(jù)集分組呈現(xiàn)的趨勢與數(shù)據(jù)集聚合呈現(xiàn)的趨勢相反的現(xiàn)象。

如下圖，按照性別分組的結(jié)果與總體的結(jié)果不同。