終于有人把可解釋機器學習講明白了

導讀：為了解決模型的“黑盒”問題，科學家們提出了可解釋機器學習。除了預測的精準性之外，可解釋性也是機器學習模型是否值得信賴的重要衡量標準。

可解釋機器學習（IML）的核心思想在于選擇模型時，需要同時考慮模型的預測精度和可解釋性，并盡量找到二者之間的最佳平衡，它不像傳統(tǒng)黑盒模型僅考慮預測精度這一單項指標（如低MSE或高AUC）；它不僅能給出模型的預測值，還能給出得到該預測值的理由，進而實現(xiàn)模型的安全、透明和公平等特性。

作者：索信達控股 邵平 楊健穎 蘇思達 何悅 蘇鈺

來源：大數(shù)據(jù)DT（ID：hzdashuju）

在大數(shù)據(jù)時代，機器學習在提升產(chǎn)品銷售、輔助人類決策的過程中能夠起到很大的作用，但是計算機通常不會解釋它們的預測結(jié)果。

我們在使用機器學習模型時，常用的模型性能評價指標有精度、查準率、查全率、ROC曲線、代價曲線等。如果一個機器學習模型表現(xiàn)得很好，我們是否就能信任這個模型而忽視決策的理由呢？答案是否定的。

模型的高性能意味著模型足夠智能和“聰明”，但這不足以讓我們了解它的運作原理，因此我們需要賦予模型“表達能力”，這樣我們才能更加理解和信任模型。除了單一的性能評價之外，模型的評價還應該增加一個維度，以表示模型的“表達能力”，可解釋性就是其中一個。

01 可解釋性的定義

解釋指的是用通俗易懂的語言進行分析闡明或呈現(xiàn)。對于模型來說，可解釋性指的是模型能用通俗易懂的語言進行表達，是一種能被人類理解的能力，具體地說就是，能夠?qū)⒛Ｐ偷念A測過程轉(zhuǎn)化成具備邏輯關系的規(guī)則的能力。

可解釋性通常比較主觀，對于不同的人，解釋的程度也不一樣，很難用統(tǒng)一的指標進行度量。我們的目標是希望機器學習模型能“像人類一樣表達，像人類一樣思考”，如果模型的解釋符合我們的認知和思維方式，能夠清晰地表達模型從輸入到輸出的預測過程，那么我們就會認為模型的可解釋性是好的。

在《機器學習的挑戰(zhàn)：黑盒模型正面臨這3個問題》例舉的基金營銷小場景中，雖然模型能夠判斷一個客戶有很大的可能性購買低風險、低收益的產(chǎn)品，但是模型不能解釋客戶傾向于購買低風險、低收益產(chǎn)品的更詳細的原因，因此也就無法提出對這個客戶來說更有針對性的營銷策略，從而導致營銷的效果不佳。

具備可解釋性的模型在做預測時，除了給出推薦的產(chǎn)品之外，還要能給出推薦的理由。例如，模型會推薦一個低收益產(chǎn)品的原因是，該客戶剛大學畢業(yè)，年紀還比較小，缺乏理財意識，金融知識也比較薄弱，盡管個人賬戶中金額不少，但是盲目推薦購買高收益產(chǎn)品，可能會由于其風險意識不足而導致更多的損失，因此可以通過一些簡單的低風險理財產(chǎn)品，讓客戶先體驗一下金融市場，培養(yǎng)客戶的理財興趣，過一段時間再購買高收益的產(chǎn)品。

模型的可解釋性和模型的“表達能力”越強，我們在利用模型結(jié)果進行決策時便能達到更好的營銷效果。

02 可解釋性的分類

可解釋機器學習的思想是在選擇模型時，同時考慮模型的預測精度和可解釋性，并盡量找到二者之間的最佳平衡。根據(jù)不同的使用場景和使用人員，我們大致可以將模型的可解釋性作以下分類。

1. 內(nèi)在可解釋VS.事后可解釋

內(nèi)在可解釋（Intrinsic Interpretability）指的是模型自身結(jié)構(gòu)比較簡單，使用者可以清晰地看到模型的內(nèi)部結(jié)構(gòu)，模型的結(jié)果帶有解釋的效果，模型在設計的時候就已經(jīng)具備了可解釋性。

如圖2-1所示，從決策樹的輸出結(jié)果中我們可以清楚地看到，兩個特征在不同取值的情況下，預測值存在差異。常見的內(nèi)在可解釋模型有邏輯回歸、深度較淺的決策樹模型（最多不超過4層）等。

▲圖2-1 決策樹結(jié)果

事后可解釋（Post-hoc Interpretability）指的是模型訓練完之后，使用一定的方法增強模型的可解釋性，挖掘模型學習到的信息。

有的模型自身結(jié)構(gòu)比較復雜，使用者很難從模型內(nèi)部知道結(jié)果的推理過程，模型的結(jié)果也不帶有解釋的語言，通常只是給出預測值，這時候模型是不具備可解釋性的。事后可解釋是指在模型訓練完之后，通過不同的事后解析方法提升模型的可解釋性。

如圖2-2所示，利用事后解析的方法，可以對不同的模型識別結(jié)果給出不同的理由：根據(jù)吉他的琴頸識別出電吉他，根據(jù)琴箱識別出木吉他，根據(jù)頭部和腿部識別出拉布拉多。常用的事后解析方法有可視化、擾動測試、代理模型等。

▲圖2-2 事后解釋：a. 原始圖片，b. 解釋為電吉他的原因，c. 解釋為木吉他的原因，d. 解釋為拉布拉多的原因（來源：論文“"Why Should I Trust You?"—Explaining the Predictions of Any Classifier”）

2. 局部解釋VS.全局解釋

對于模型使用者來說，不同場景對解釋的需求也有所不同。對于整個數(shù)據(jù)集而言，我們需要了解整體的預測情況；對于個體而言，我們需要了解特定個體中預測的差異情況。

局部解釋指的是當一個樣本或一組樣本的輸入值發(fā)生變化時，解釋其預測結(jié)果會發(fā)生怎樣的變化。

例如，在銀行風控系統(tǒng)中，我們需要找到違規(guī)的客戶具備哪個或哪些特征，進而按圖索驥，找到潛在的違規(guī)客戶；當賬戶金額發(fā)生變化時，違規(guī)的概率會如何變化；在拒絕了客戶的信用卡申請后，我們也可以根據(jù)模型的局部解釋，向這些客戶解釋拒絕的理由。

圖2-2展示的既是事后解釋，也是一個局部解釋，是針對輸入的一張圖片作出的解釋。

全局解釋指的是整個模型從輸入到輸出之間的解釋，從全局解釋中，我們可以得到普遍規(guī)律或統(tǒng)計推斷，理解每個特征對模型的影響。

例如，吸煙與肺癌相關，抽煙越多的人得肺癌的概率越高。全局解釋可以幫助我們理解基于特征的目標分布，但一般很難獲得。

人類能刻畫的空間不超過三維，一旦超過三維空間就會讓人感覺難以理解，我們很難用直觀的方式刻畫三維以上的聯(lián)合分布。因此一般的全局解釋都停留在三維以下，比如，加性模型（Additive Model）需要在保持其他特征不變的情況下，觀察單個特征與目標變量的關系；樹模型則是將每個葉節(jié)點對應的路徑解釋為產(chǎn)生葉節(jié)點結(jié)果的規(guī)則。

3. 可解釋機器學習的研究方向

可解釋機器學習為模型的評價指標提供了新的角度，模型設計者在設計模型或優(yōu)化模型時，應該從精度和解釋性兩個角度進行考慮。

圖2-3所示的是可解釋機器學習中模型精度和模型可解釋性的關系，由香港大學張愛軍教授提出，在學術(shù)界廣為流傳，圖2-3中的橫軸代表模型的可解釋性，越往正方向，代表模型的可解釋性越高；縱軸代表模型的精度，越往正方向，代表模型的精度越高。

▲圖2-3 可解釋機器學習：模型精度和模型可解釋性的關系（圖片來源：?香港大學張愛軍博士）

針對模型評價的兩個指標，可解釋機器學習有兩大研究方向，具體說明如下。

第一，對于傳統(tǒng)的統(tǒng)計學模型（比如決策樹、邏輯回歸、線性回歸等），模型的可解釋性較強，我們在使用模型時可以清楚地看到模型的內(nèi)部結(jié)構(gòu)，結(jié)果具有很高的可解釋性。

然而一般情況下，這些模型的精度較低，在一些信噪比較高（信號強烈，噪聲較少）的領域，擬合效果沒有當下的機器學習模型高。

在保持模型的可解釋性前提下，我們可以適當?shù)馗牧寄Ｐ偷慕Y(jié)構(gòu)，通過增加模型的靈活表征能力，提高其精度，使得模型往縱軸正方向移動，形成內(nèi)在可解釋機器學習模型。比如，保持模型的加性性質(zhì)，同時從線性擬合拓展到非線性擬合，GAMI-Net、EBM模型均屬于內(nèi)在可解釋機器學習模型。

第二，當下的機器學習模型（比如神經(jīng)網(wǎng)絡、深度學習），其內(nèi)部結(jié)構(gòu)十分復雜，我們難以通過逐層神經(jīng)網(wǎng)絡或逐個神經(jīng)元觀察數(shù)據(jù)的變化，在一些信噪比較低（信號較弱，噪聲強）的領域，我們很容易把噪聲也擬合進去，不易發(fā)現(xiàn)其中的錯誤，模型的可解釋性較低。

為了提高模型的可解釋性，我們可以采用以下兩種方法：

1. 降低模型結(jié)構(gòu)的復雜度，如減少樹模型的深度，以犧牲模型的精度換取可解釋性；
2. 保持模型原有的精度，在模型訓練完之后，利用事后輔助的歸因解析方法及可視化工具，來獲得模型的可解釋性。

無論采用哪一種方法，其目的都是讓模型往橫軸的正方向移動，獲取更多的可解釋性。LIME和SHAP等方法均屬于事后解析方法。

可解釋機器學習的研究在學術(shù)界和工業(yè)界都引發(fā)了熱烈的反響，發(fā)表的文章和落地應用逐年增長。無論是哪一個研究方向，可解釋機器學習研究的最終目的都是：

1. 在保證高水平學習表現(xiàn)的同時，實現(xiàn)更具可解釋性的模型；
2. 讓我們更理解、信任并有效地使用模型。

關于作者：邵平，資深數(shù)據(jù)科學家，索信達控股金融AI實驗室總監(jiān)。在大數(shù)據(jù)、人工智能領域有十多年技術(shù)研發(fā)和行業(yè)應用經(jīng)驗。技術(shù)方向涉及可解釋機器學習、深度學習、時間序列預測、智能推薦、自然語言處理等?，F(xiàn)主要致力于可解釋機器學習、推薦系統(tǒng)、銀行智能營銷和智能風控等領域的技術(shù)研究和項目實踐。

楊健穎，云南財經(jīng)大學統(tǒng)計學碩士，高級數(shù)據(jù)挖掘工程師，一個對數(shù)據(jù)科學有堅定信念的追求者，目前重點研究機器學習模型的可解釋性。

蘇思達，美國天普大學統(tǒng)計學碩士，機器學習算法專家，長期為銀行提供大數(shù)據(jù)與人工智能解決方案和技術(shù)服務。主要研究方向為可解釋機器學習與人工智能，曾撰寫《可解釋機器學習研究報告》和多篇可解釋機器學習相關文章。

本文摘編自《可解釋機器學習：模型、方法與實踐》，經(jīng)出版方授權(quán)發(fā)布。（ISBN：9787111695714）

延伸閱讀《可解釋機器學習：模型、方法與實踐》

點擊上圖了解及購買

轉(zhuǎn)載請聯(lián)系微信：DoctorData

推薦語：國內(nèi)金融人工智能一線團隊傾力打造，追蹤最前沿的研究進展，全面、系統(tǒng)地介紹了可解釋機器學習模型及方法。

干貨直達??

• 6本書，讀懂2022年最火的邊緣計算
  

• 終于有人把幸存者偏差講明白了

• 機器學習的挑戰(zhàn)：黑盒模型正面臨這3個問題
  

• 詳解數(shù)據(jù)分析體系構(gòu)成框架

更多精彩??

在公眾號對話框輸入以下關鍵詞

查看更多優(yōu)質(zhì)內(nèi)容！

讀書 | 書單 | 干貨 | 講明白 | 神操作 | 手把手

大數(shù)據(jù) | 云計算 | 數(shù)據(jù)庫 | Python | 爬蟲 | 可視化

AI | 人工智能 | 機器學習 | 深度學習 | NLP

5G | 中臺 | 用戶畫像 | 數(shù)學 | 算法 | 數(shù)字孿生

據(jù)統(tǒng)計，99%的大咖都關注了這個公眾號

??