特征工程7種常用方法
向AI轉型的程序員都關注了這個號??????
機器學習AI算法工程?? 公眾號：datayx
一、特征工程
簡單說，特征工程是能夠將數(shù)據(jù)像藝術一樣展現(xiàn)的技術。因為好的特征工程很好的混合了專業(yè)領域知識、直覺和基本的數(shù)學能力；
本質上說，呈現(xiàn)給算法的數(shù)據(jù)應該能擁有基本數(shù)據(jù)的相關結構或屬性 。當你做特征工程時，其實是將數(shù)據(jù)屬性轉換為數(shù)據(jù)特征的過程，屬性代表了數(shù)據(jù)的所有維度，在數(shù)據(jù)建模時，如果對原始數(shù)據(jù)的所有屬性進行學習，并不能很好的找到數(shù)據(jù)的潛在趨勢，而通過特征工程對你的數(shù)據(jù)進行預處理的話，你的算法模型能夠減少受到噪聲的干擾，這樣能夠更好的找出趨勢；
事實上，好的特征甚至能夠幫你實現(xiàn)使用簡單的模型達到很好的效果；
但是，對于特征工程中引用的新特征，需要驗證它的確提高了預測的準確度，而不是加入了一個無用的特征，不然只會增加算法運算的復雜度。
二、常用方法
1、時間戳處理
時間戳通常需要分離成多個維度比如年、月、日、小時、分鐘、秒鐘。但在很多的應用中，大量的信息是不需要的，因此我們在呈現(xiàn)時間的時候，試著保證你所提供的所有數(shù)據(jù)是你的模型所需要的，并且別忘了時區(qū)，加入你的數(shù)據(jù)源來自不同的地理數(shù)據(jù)源，別忘了利用時區(qū)將數(shù)據(jù)標準化
2、離散型變量處理
舉一個簡單的例子，由{紅，黃，藍}組成的離散型變量，最常用的方式是吧每個變量值轉換成二元屬性，即從{0，1}取一個值，也就是常說的獨熱編碼(one-hot code)。
3、分箱/分區(qū)
有時候，將連續(xù)型變量轉換成類別呈現(xiàn)更有意義，同時能夠使算法減少噪聲的干擾，通過將一定范圍內(nèi)的數(shù)值劃分成確定的塊。舉個例子，我們要預測具有哪些特征的人會購買我們網(wǎng)店的商品，用戶的年齡是一個連續(xù)的變量，我們可以將年齡分為15以下、15-24、25-34、35-44、45及以上。而且，不是將這些類別分成2個點，你可以使用標量值，因為相近的年齡表現(xiàn)出相似的屬性。
只有了解變量的領域知識的基礎，確定屬性能夠劃分成簡潔的范圍時分區(qū)才有意義，即所有的數(shù)值落入一個分區(qū)時能夠呈現(xiàn)出共同的特征。在實際的運用中，當你不想讓你的模型總是嘗試區(qū)分值之間是否太近時，分區(qū)能夠避免出現(xiàn)過擬合。例如，如果你感興趣的是將一個城市作為總體，這時你可以將所有落入該城市的維度整合成一個整體。分箱也能減小小錯誤的影響，通過將一個給定值劃入到最近的塊中。如果劃分范圍的數(shù)量和所有可能值相近，或對你來說準確率很重要的話，此時分箱就不合適了。
4、交叉特征
交叉特征算是特征工程中非常重要的方法之一，它將兩個或更多的類別屬性組合成一個。當組合的特征要比單個特征更好時，這是一項非常有用的技術。數(shù)學上來說，是對類別特征的所有值進行交叉相乘。
假如擁有一個特征A,A有兩個可能值{A1，A2}。擁有一個特征B，存在{B1，B2}等可能值。然后，A&B之間的交叉特征如下：{（A1，B1），（A1，B2），（A2，B1），（A2，B2）}，并且你可以給這些組合特征取任何名字。但是需要明白每個組合特征其實代表著A和B各自信息協(xié)同作用。
5、特征選擇
為了得到更好的模型，使用某些算法自動的選出原始特征的子集。這個過程，你不會構建或修改你擁有的特征，但是會通過修建特征來達到減少噪聲和冗余。
特征選擇算法可能會用到評分方法來排名和選擇特征，比如相關性或其他確定特征重要性的方法，更進一步的方法可能需要通過試錯，來搜素出特征子集。
還有通過構建輔助模型的方法，逐步回歸就是模型構造過程中自動執(zhí)行特征選擇算法的一個實例，還有像Lasso回歸和嶺回歸等正則化方法也被歸入到特征選擇，通過加入額外的約束或者懲罰項加到已有模型(損失函數(shù))上，以防止過擬合并提高泛化能力。
6、特征縮放
有時候，你可能會注意到某些特征比其他特征擁有高得多的跨度值。舉個例子，將一個人的收入和他的年齡進行比較，更具體的例子，如某些模型(像嶺回歸)要求你必須將特征值縮放到相同的范圍值內(nèi)。通過特征縮放可以避免某些特征獲得大小非常懸殊的權重值
7、特征提取
特征提取涉及到從原始屬性中自動生成一些新的特征集的一系列算法，降維算法就屬于這一類。特征提取是一個自動將觀測值降維到一個足夠建模的小數(shù)據(jù)集的過程。對于列表數(shù)據(jù)，可使用的方法包括一些投影方法，像主成分分析和無監(jiān)督聚類算法。對于圖形數(shù)據(jù)，可能包括一些直線檢測和邊緣檢測，對于不同領域有各自的方法。
特征提取的關鍵點在于這些方法是自動的（雖然可能需要從簡單方法中設計和構建得到），還能夠解決不受控制的高維數(shù)據(jù)的問題。大部分的情況下，是將這些不同類型數(shù)據(jù)（如圖，語言，視頻等）存成數(shù)字格式來進行模擬觀察
機器學習算法AI大數(shù)據(jù)技術
?搜索公眾號添加：? datanlp
長按圖片，識別二維碼
閱讀過本文的人還看了以下文章：
基于40萬表格數(shù)據(jù)集TableBank，用MaskRCNN做表格檢測
《深度學習入門：基于Python的理論與實現(xiàn)》高清中文PDF+源碼
python就業(yè)班學習視頻，從入門到實戰(zhàn)項目
2019最新《PyTorch自然語言處理》英、中文版PDF+源碼
《21個項目玩轉深度學習：基于TensorFlow的實踐詳解》完整版PDF+附書代碼
PyTorch深度學習快速實戰(zhàn)入門《pytorch-handbook》
【下載】豆瓣評分8.1,《機器學習實戰(zhàn):基于Scikit-Learn和TensorFlow》
《Python數(shù)據(jù)分析與挖掘實戰(zhàn)》PDF+完整源碼
汽車行業(yè)完整知識圖譜項目實戰(zhàn)視頻(全23課)
李沐大神開源《動手學深度學習》，加州伯克利深度學習（2019春）教材
筆記、代碼清晰易懂！李航《統(tǒng)計學習方法》最新資源全套！
《神經(jīng)網(wǎng)絡與深度學習》最新2018版中英PDF+源碼
重要開源！CNN-RNN-CTC 實現(xiàn)手寫漢字識別
【Keras】完整實現(xiàn)‘交通標志’分類、‘票據(jù)’分類兩個項目，讓你掌握深度學習圖像分類
VGG16遷移學習，實現(xiàn)醫(yī)學圖像識別分類工程項目
特征工程(二) :文本數(shù)據(jù)的展開、過濾和分塊
如何利用全新的決策樹集成級聯(lián)結構gcForest做特征工程并打分？
Machine Learning Yearning 中文翻譯稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
python+flask搭建CNN在線識別手寫中文網(wǎng)站
中科院Kaggle全球文本匹配競賽華人第1名團隊-深度學習與特征工程
不斷更新資源
深度學習、機器學習、數(shù)據(jù)分析、python
?搜索公眾號添加：? datayx??