淺析機器學習算法的應用場景!
?Datawhale干貨?
作者：知乎King James，倫敦國王大學
知乎 ｜?https://www.zhihu.com/people/xu-xiu-jian-33
在學習算法的過程里，難免有疑問：k近鄰、貝葉斯、決策樹、svm、邏輯斯蒂回歸和最大熵模型、隱馬爾科夫、條件隨機場、adaboost、em 這些算法在一般工作中分別用到的幾率多大？一般用途是什么？需要注意什么？
首先簡要回答一下：以上這些算法，如果是指書本或者大學課堂里面教的，那么在目前國內(nèi)機器學習應用最多的一些工業(yè)界場景中，它們的使用頻率接近0，沒啥實際用途。如果樓主是想為未來工作做積累，或者是面試做準備，你還得對以下算法多做研究，這些才是目前工業(yè)界主流應用的算法。
（決策樹模型這部分專門說一下：大部分課程里面教的決策樹模型比如CART、ID3等，這類模型工業(yè)界幾乎不用，樹模型用的最多的是GBDT、XGBoost和LightGBM。GBDT金融科技領域用的多，LightGBM目前銷量預測領域用的多。）
01 國內(nèi)工業(yè)界應用最多的領域
我們先從工業(yè)界對于機器學習的需求開始說起，明白用戶需求才知道什么算法用的多。首先大家可以看一下IDC MarketScape發(fā)布的2019中國機器學習開發(fā)平臺市場的報告，里面國內(nèi)做機器學習頭部公司是：第四范式、百度、阿里云，這是頭部三家企業(yè)。
然后我們看一下上圖中某頭部公司的客戶都來自于哪個領域：
圖片來自于官網(wǎng)截圖
我們可以很清晰地看出主要來自于這些領域：金融、媒體、零售；為什么？原因如下：
第一個是因為數(shù)據(jù)：做To C生意的客戶積累的用戶多，數(shù)據(jù)也多，滿足機器學習建模對數(shù)據(jù)量的要求。金融、媒體、零售積累了大量C端用戶的數(shù)據(jù)；
第二個是因為場景：這些領域的客戶有些大量可以使用機器學習建模的場景，也是國內(nèi)工業(yè)界最早嘗試將機器學習引入到實際的建模場景中的。
具體哪些場景下面會細述。
02 國內(nèi)工業(yè)界應用最多的機器學習算法
說清楚主要應用領域和場景以后，分析算法就很清楚了。
2.1 金融領域
金融領域使用機器學習建模最多的場景就是風控。當然風控也要進行細分，主要應用機器學習建模的細分場景如下：
- 信用卡交易反欺詐：分類任務，GBDT算法+LR邏輯回歸;
- 信用卡申請反欺詐：分類任務，GBDT算法+LR邏輯回歸;
- 貸款申請反欺詐：分類任務，GBDT算法+LR邏輯回歸;
- 反洗錢：分類任務，GBDT算法+LR邏輯回歸;
是的沒錯，目前在金融領域涉及到風控的幾乎都是GBDT+LR，目前市場上還沒有哪一家金融科技公司做反欺詐、反洗錢場景使用的不是GBDT+LR，這是目前市場上做該場景效果最好的算法。
同時金融行業(yè)存在高監(jiān)管的屬性，乙方AI廠商給銀行做項目時，最終項目交付時都需要模型可解釋，LR模型存在一個優(yōu)點就是特征可以解釋，特征工程很清晰，每個特征的貢獻度也可以統(tǒng)計出來。如果用深度學習模型等，可能效果差不多，但是完全不可解釋，這種在金融這種強監(jiān)管的場景下，不可解釋的模型是不符合監(jiān)管要求的。金融行業(yè)的屬性導致的，目前深度學習在金融風控領域應用非常有限。
此外確實也有用XGBT算法在上述這些場景，XGBT在GBDT算法進行了一些優(yōu)化。具體大家可以參考這里：https://www.zhihu.com/question/41354392。但實際目前用GBDT的還是多。
- 營銷場景：為用戶推薦理財產(chǎn)品、基金產(chǎn)品、保險產(chǎn)品或者邀請用戶辦理信用卡賬單分期等；
這部分主要用的都是推薦的算法，主要都是基于協(xié)同過濾CF算法+簡單的策略；營銷場景做推薦，一般分為三個部分：召回+排序+業(yè)務規(guī)則。召回層面會利用協(xié)同過濾CF算法、FM算法，構建排序模型還是LR模型居多，金融領域目前使用深度學習相對較少，但是在互聯(lián)網(wǎng)和其他領域使用深度學習做排序模型已經(jīng)很廣泛了。
2.2 媒體領域
在媒體領域最典型的就是今日頭條了，包括像很多其他的媒體端如小紅書、抖音等；這里面最常應用機器學習的就是推薦場景。大家經(jīng)常發(fā)現(xiàn)的一點就是今日頭條、小紅書經(jīng)常會根據(jù)你之前看過的一些內(nèi)容來給你推相關內(nèi)容。比如你經(jīng)?？创箝L腿，小紅書就一直給你推，別問我怎么知道的。
- 推薦：基于內(nèi)容item的推薦、基于知識圖譜的推薦、基于協(xié)同過濾算法的推薦。資訊信息物料的推薦，這里面會涉及到Doc2Vec、Lsi等算法，因為涉及到一部分對于物料語義的理解。今日頭條推薦算法詳解：https://www.leiphone.com/news/201801/XlIxFZ5W3j8MvaEL.html
2.3 零售領域
在零售領域，使用機器學習建模最多的場景也是推薦場景和搜索場景中的排序。APP上購物車頁面提交訂單時為用戶推薦相似商品、推薦可能感興趣的商品，以及針對什么樣的用戶推薦什么樣的優(yōu)惠券等等。
- 推薦：協(xié)同過濾CF算法、FM算法+LR排序模型、深度學習模型目前在推薦領域使用也十分廣泛了。
除去推薦，零售領域還有一個使用機器學習建模比較多的場景，就是對某類商品進行銷量預測，根據(jù)預測量來調整商品的供給。
- 銷量預測：目前基本都轉用LightGBM算法了；
這里附上之前Kaggle里面關于銷量預測的case，排名第一的將自己的源碼share出來的，感興趣的可以自行下載研究。https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47582
零售領域還有一個應用非常多的場景，就是做供應鏈優(yōu)化，物流調度，給外賣騎手配單等。但這部分不能算作機器學習，更多是運籌學的知識。目前國內(nèi)做的比較好的是杉數(shù)科技。
- 供應鏈優(yōu)化：運籌學的知識
03 未來工業(yè)界應用比較有前景的算法
所以如果你是一個學生或者想轉行到機器學習領域，課堂上教的那些算法只是簡單入門完全不夠用，只是讓你了解基本的思想。如果你想進入工業(yè)界的機器學習領域尤其是當前比較熱門的推薦&金融科技領域，你需要對：GBDT、LR、推薦算法等很了解，如果能再對XGBoost和LightGBM了解就更好了，而所謂的KNN、Kmeans、貝葉斯、最大熵模型等等，這些只是基礎算法，了解這些基礎算法完全無法解決你校招找工作時面試的問題。
同時給大家分享幾個當下比較火的機器學習熱門研究方向：
3.1 AutoML
目前工業(yè)界最火的機器學習研究方向就是AutoML，自動機器學習技術，不需要機器學習專家參與建模，機器全自動完成建模。之前華為開出200多萬年薪的那位博士生就是研究AutoML的。
AutoML技術這兩年發(fā)展的很迅速，工作上自己了解我司的AutoML實際場景落地時，在一些場景上AutoML構建的模型效果表現(xiàn)已經(jīng)和經(jīng)驗豐富的數(shù)據(jù)科學家人工構建的模型效果沒有任何差異了，但是AutoML大幅降低了人力成本和時間成本。但AutoML在實際工業(yè)界落地時，遇到的最大問題就是對于數(shù)據(jù)治理，科學家們很多時候80%建模的工作在做數(shù)據(jù)整合和數(shù)據(jù)清洗等。
關于AutoML技術的出現(xiàn)會不會導致大量ML從業(yè)人員失業(yè)了？希望進一步了解的可以閱讀下面回答：https://www.zhihu.com/question/387574523/answer/1796066073
3.2 強化學習
另一個熱門研究領域就是強化學習，隨著阿法狗戰(zhàn)勝柯潔和王者榮耀AI絕悟的火爆，將強化學習這一細分領域帶入到廣大從業(yè)人員的事業(yè)里。強化學習在工業(yè)界的熱度也在逐步攀升，工作上越來越多的甲方來咨詢強化學習，希望用強化學習來嘗試一些場景的應用，之前強化學習更多還是在學術界研究。目前強化學習在游戲行業(yè)應用已經(jīng)十分成熟了，現(xiàn)在有向其他行業(yè)擴展的趨勢，比如零售領域的供應鏈干線優(yōu)化、互聯(lián)網(wǎng)領域的推薦場景、軍工領域的仿真等。對于強化學習不了解的讀者可以閱讀下面文章：通俗易懂講解強化學習。
3.3 聯(lián)邦學習
AI發(fā)展的三大核心要素：算法、算力和數(shù)據(jù)。而當前AI發(fā)展面臨的一個問題就是如何在面臨監(jiān)管對于用戶數(shù)據(jù)隱私安全越來越嚴，如何合理合法地采集和應用用戶信息，甚至在保證用戶數(shù)據(jù)不離開本地的情況下實現(xiàn)模型訓練和更新。各大AI公司和互聯(lián)網(wǎng)廠商都要尋求這方面的解決方案，聯(lián)邦學習的出現(xiàn)就是為了解決這一問題。
聯(lián)邦學習的解釋如下：
在保護各方數(shù)據(jù)隱私安全的情況下，實現(xiàn)各方聯(lián)合建模，最終得到比聯(lián)邦中任意一方單獨建模效果更優(yōu)的模型。目前世界上B端企業(yè)間的縱向聯(lián)邦學習的研究是由香港科技大學計算機科學與工程學系主任，第一位華人國際人工智能協(xié)會（AAAI）院士&AAAI執(zhí)行委員會委員-楊強教授牽頭發(fā)起的，縱向聯(lián)邦學習已經(jīng)在金融&廣告領域大規(guī)模應用。因為聯(lián)邦學習是一個新興的領域，專業(yè)性人才很稀缺，企業(yè)對于這方面的人才也是求賢若渴。希望對聯(lián)邦學習做進一步了解的可以點擊閱讀通俗易懂講解聯(lián)邦學習。
文章最后分享工業(yè)界講算法落地比較好的書籍：《美團機器學習實踐》。
