人工智能|6個可解釋AI的Python框架推薦
來源:DeepHub IMBA
本文
約1500
字,建議閱讀
5
分鐘
本文為你介紹6個用于可解釋性的Python框架。
隨著人工智能的發(fā)展為了解決具有挑戰(zhàn)性的問題,人們創(chuàng)造了更復(fù)雜、更不透明的模型。AI就像一個黑匣子,能自己做出決定,但是人們并不清楚其中緣由。建立一個AI模型,輸入數(shù)據(jù),然后再輸出結(jié)果,但有一個問題就是我們不能解釋AI為何會得出這樣的結(jié)論。需要了解AI如何得出某個結(jié)論背后的原因,而不是僅僅接受一個在沒有上下文或解釋的情況下輸出的結(jié)果。
可解釋性旨在幫助人們理解:
- 如何學(xué)習(xí)的?
- 學(xué)到了什么?
- 針對一個特定輸入為什么會做出如此決策?
- 決策是否可靠?
在本文中,我將介紹6個用于可解釋性的Python框架。
SHAP
數(shù)據(jù)集中每個特征對模型預(yù)測的貢獻(xiàn)由Shapley值解釋。Lundberg和Lee的SHAP算法最初發(fā)表于2017年,這個算法被社區(qū)在許多不同的領(lǐng)域廣泛采用。

使用pip或conda安裝shap庫。
# install with pip
pip install shap
# install with conda
conda install -c conda-forge shap
使用Shap庫構(gòu)建瀑布圖
使用Shap庫構(gòu)建Beeswarm圖
使用Shap庫構(gòu)建部分依賴圖
LIME
知道為什么模型會以這種方式進(jìn)行預(yù)測對于調(diào)整算法是至關(guān)重要的。借助LIME的解釋,能夠理解為什么模型以這種方式運行。如果模型沒有按照計劃運行,那么很可能在數(shù)據(jù)準(zhǔn)備階段就犯了錯誤。

使用pip安裝:
pip install lime
LIME 構(gòu)建的局部解釋圖
LIME構(gòu)建的Beeswarm 圖
Shapash
為了表達(dá)數(shù)據(jù)中包含故事、見解和模型的發(fā)現(xiàn),互動性和漂亮的圖表必不可少。業(yè)務(wù)和數(shù)據(jù)科學(xué)家/分析師向AI/ML結(jié)果展示和互動的最佳方法是將其可視化并且放到web中。Shapash庫可以生成交互式儀表盤,并收集了許多可視化圖表。與外形/石灰解釋性有關(guān)。它可以使用SHAP/Lime作為后端,也就是說它只提供了更好看的圖表。
使用Shapash構(gòu)建特征貢獻(xiàn)圖
使用Shapash庫創(chuàng)建的交互式儀表板
使用Shapash構(gòu)建的局部解釋圖
InterpretML
InterpretML展示了兩種類型的可解釋性:glassbox模型——為可解釋性設(shè)計的機(jī)器學(xué)習(xí)模型(如:線性模型、規(guī)則列表、廣義可加模型)和黑箱可解釋性技術(shù)——用于解釋現(xiàn)有系統(tǒng)(如:部分依賴,LIME)。使用統(tǒng)一的API并封裝多種方法,擁有內(nèi)置的、可擴(kuò)展的可視化平臺,該包使研究人員能夠輕松地比較可解釋性算法。InterpretML還包括了explanation Boosting Machine的第一個實現(xiàn),這是一個強(qiáng)大的、可解釋的、glassbox模型,可以像許多黑箱模型一樣精確。
使用InterpretML構(gòu)建的局部解釋交互式圖
使用InterpretML構(gòu)建的全局解釋圖
ELI5
- scikit-learn
- XGBoost、LightGBM CatBoost
- Keras
ELI5有兩種主要的方法來解釋分類或回歸模型:
- 檢查模型參數(shù)并說明模型是如何全局工作的;
- 檢查模型的單個預(yù)測并說明什么模型會做出這樣的決定。
使用ELI5庫生成全局權(quán)值
使用ELI5庫生成局部權(quán)重
OmniXAI

以下是OmniXAI提供的與其他類似庫的對比:

最后,下面是這6個框架的官方地址:
https://shap.readthedocs.io/en/latest/index.html https://github.com/marcotcr/lime https://shapash.readthedocs.io/en/latest/ https://interpret.ml/ https://eli5.readthedocs.io/ https://github.com/salesforce/OmniXAI
作者:Moez Ali?編輯:黃繼彥
我真誠歡迎你加入我的金融科技數(shù)據(jù)人才群,文末有我的微信,可以連接我,請備注:金融科技
我提供付費咨詢和服務(wù)。
你我連接,相互交流,創(chuàng)造更多價值。
—END—
? 你或許還想看
喜歡本文點個在看
或關(guān)注下方公眾號
你將感受到一個數(shù)據(jù)科學(xué)工作者的靈魂
公眾號:數(shù)據(jù)科學(xué)與人工智能
作者:陸勤
數(shù)據(jù)科學(xué)工作者。
混跡金融科技行業(yè)。
解決信貸業(yè)務(wù)風(fēng)控和營銷問題。
喜歡寫點東西,有一顆利他之心。
只做付費咨詢和服務(wù)。
連接請加微信:shushengya360
評論
圖片
表情
