神經(jīng)網(wǎng)絡(luò)的可解釋性綜述！

↑↑↑點(diǎn)擊上方藍(lán)字，回復(fù)資料，10個(gè)G的驚喜

作者：機(jī)器學(xué)習(xí)小談，來源：圖靈人工智能

地址｜https://zhuanlan.zhihu.com/p/368755357

論文｜https://arxiv.org/abs/2012.14261

本文以 A Survey on Neural Network Interpretability 讀后感為主，加上自身的補(bǔ)充，淺談神經(jīng)網(wǎng)絡(luò)的可解釋性。

本文按照以下的章節(jié)進(jìn)行組織：

1. 人工智能可解釋性的背景意義
2. 神經(jīng)網(wǎng)絡(luò)可解釋性的分類
3. 總結(jié)

01

人工智能可解釋性的背景意義

1.1 什么是可解釋性

Interpretability (of a DNN) is the ability to provide explanations in understandable terms to a human. F Doshi-Velez & B Kim, 2017

• 解釋（Explanations），是指需要用某種語言來描述和注解

理想情況下，嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)符號(hào)-邏輯規(guī)則是最好的解釋（D Pedreschi et al., 2019）。實(shí)際上人們往往不強(qiáng)求“完整的解釋”，只需要關(guān)鍵信息和一些先驗(yàn)知識(shí)

• 可解釋的邊界（Explainable Boundary），是指可解釋性能夠提供解釋的程度

來自XAI的：對(duì)于不同的聽眾，解釋的深度也有所不同，應(yīng)該是需求而定。例如：為什么你這么聰明？因?yàn)槲蚁矚g吃魚。為什么吃魚會(huì)聰明？因?yàn)轸~類富含DHA。為什么DHA聰明？...... 因?yàn)楦鶕?jù)不同的人群，我們的可解釋的工作也不一樣。例如給大眾解釋吃魚能夠聰明就行了，因?yàn)槌贼~能夠聰明我們很多人已經(jīng)從小到大耳熟能詳了。如果我們給專業(yè)人士解釋DHA為什么會(huì)是大腦聰明，我們身邊很多人也答不出來，這已經(jīng)遠(yuǎn)超出我們計(jì)算機(jī)這個(gè)領(lǐng)域了。當(dāng)然，可解釋的這種邊界越深，這個(gè)模型的能力也越強(qiáng)。

• 可理解的術(shù)語（Understandable Terms），是指構(gòu)成解釋的基本單元

不同領(lǐng)域的模型解釋需要建立在不同的領(lǐng)域術(shù)語之上，不可能或者目前難以用數(shù)學(xué)邏輯符號(hào)來解釋。例如計(jì)算機(jī)視覺中的image patches，NLP中的單詞等。而可理解的術(shù)語可以理解為計(jì)算機(jī)跟我們?nèi)祟惸軌驕贤ǖ恼Z言。以前我們很多研究關(guān)于人類跟計(jì)算機(jī)表達(dá)的語言例如計(jì)算機(jī)指令，現(xiàn)在是反過來計(jì)算機(jī)根據(jù)現(xiàn)有的模型給我們解釋

1.2 為什么需要可解釋性

• 高可靠性的要求

a）神經(jīng)網(wǎng)絡(luò)在實(shí)踐中經(jīng)常有難以預(yù)測(cè)的錯(cuò)誤（進(jìn)一步的研究是對(duì)抗樣本攻擊與防御），這對(duì)于要求可靠性較高的系統(tǒng)很危險(xiǎn)

b）可解釋性有助于發(fā)現(xiàn)潛在的錯(cuò)誤；也可以通過debug而改進(jìn)模型

• 倫理/法規(guī)的要求

AI醫(yī)療：目前一般只作為輔助性的工具，是因?yàn)橐粋€(gè)合格的醫(yī)療系統(tǒng)必須是透明的、可理解的、可解釋的，可以獲得醫(yī)生和病人的信任。

司法決策：面對(duì)紛繁復(fù)雜的事實(shí)類型，除了法律條文，還需要融入社會(huì)常識(shí)、人文因素等。因此，AI在司法決策的事后，必須要給出法律依據(jù)和推理過程。

• 作為其他科學(xué)研究的工具

科學(xué)研究可以發(fā)現(xiàn)新知識(shí)，可解釋性正是用以揭示背后原理。

02

神經(jīng)網(wǎng)絡(luò)可解釋性的分類

2.1 按照邏輯規(guī)則解釋（Rule as Explanation）

圖左是一顆關(guān)于判斷西瓜好壞的決策樹，經(jīng)過DFS后，我們可以抽取出右圖的規(guī)則。而對(duì)于神經(jīng)網(wǎng)絡(luò)，我們是否也可以類似決策樹這樣做呢？

答案是肯定的。

第一種方法是分解法，遍歷所有特征的排列組合

分解法最簡(jiǎn)單，但是缺點(diǎn)也是顯而易見的，就是時(shí)間復(fù)雜度太高，雖然KT算法有所優(yōu)化，但是指數(shù)形式的復(fù)雜度還是難以投入實(shí)際使用。于是我們引入第二種方法：教育法[1]

DecText-決策樹抽取器，主要采用經(jīng)過黑箱子的數(shù)據(jù)來抽取黑箱子的規(guī)則，并且與其他決策樹不同的是，該方法除了使用標(biāo)記數(shù)據(jù)還可以使用未標(biāo)記數(shù)據(jù)以及隨機(jī)數(shù)據(jù)，只要經(jīng)過神經(jīng)網(wǎng)絡(luò)黑箱子都可以獲得標(biāo)簽。對(duì)比僅用訓(xùn)練集，由于傳統(tǒng)決策樹進(jìn)行生成葉子比生成其根的可信度還要低（因?yàn)槟苡糜趧澐纸缦薜臄?shù)據(jù)越來越少）。所以DecText有一個(gè)優(yōu)勢(shì)就是可以利用更多的無標(biāo)記數(shù)據(jù)甚至隨機(jī)數(shù)據(jù)進(jìn)行補(bǔ)充。但是一般論文也不會(huì)提及到自身設(shè)計(jì)的大多數(shù)缺點(diǎn)。例如，這里我認(rèn)為有兩大缺點(diǎn)。一、無標(biāo)記數(shù)據(jù)或者隨機(jī)數(shù)據(jù)其實(shí)有很多是超過解釋的意義，例如人臉識(shí)別，如果我們倒入一些不及格的人臉甚至隨機(jī)的圖像，決策樹也會(huì)對(duì)這些圖像進(jìn)行開枝散葉，降低了真正解釋人臉的枝葉的占比。二、決策樹不能表達(dá)太深的網(wǎng)絡(luò)，決策樹越深，性能會(huì)急劇下降，可解釋性也越差。

Tree Regulartion[2]提出了樹正則的方法，來抑制了樹的深度。

樹正則通過引入深度損失正則項(xiàng)，在優(yōu)化時(shí)候會(huì)抑制樹的深度。而樹的深度則是通過一個(gè)簡(jiǎn)單的預(yù)估網(wǎng)絡(luò)進(jìn)行預(yù)估，需要的參數(shù)就是主網(wǎng)絡(luò)的參數(shù)。

2.2 按照語義進(jìn)行解釋

類比人類開始對(duì)細(xì)胞解釋的時(shí)候，無法一下子直接從細(xì)胞本身理解這個(gè)細(xì)胞的類別或者功能，但是可以從細(xì)胞群或者組織（例如表皮細(xì)胞組織）來從宏觀角度了解細(xì)胞的作用。神經(jīng)網(wǎng)絡(luò)亦是如此。例如卷積神經(jīng)網(wǎng)絡(luò)，淺層的卷積網(wǎng)絡(luò)往往關(guān)注更基礎(chǔ)的圖像信息例如紋理、顏色等，而越往上層則越能抽象出更豐富的語義，例如人臉識(shí)別的眼睛、鼻子等。其中經(jīng)典代表就是計(jì)算機(jī)視覺中的經(jīng)典方法-可視化[3]

可視化的方法非常多，比如說有一個(gè)華人的博士就可視化了CNN，把每一層都展示得非常清楚，只需要在網(wǎng)頁上點(diǎn)擊對(duì)于的神經(jīng)元，就可以看到工作流程。右邊是一位維也納的小哥，本來搞unity3D特效開發(fā)的，他把整個(gè)CNN網(wǎng)絡(luò)用3d的形式可視化了出來。

cnn_visual

featuremap_layout

另外一種主動(dòng)的按照語義進(jìn)行解釋的代表作：可解釋卷積神經(jīng)網(wǎng)絡(luò)[4]（Interpretable convolutional neural networks.）與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不同的是，ICNN的每一個(gè)卷積核盡量只代表一種概念，例如，傳統(tǒng)的卷積核對(duì)貓的頭或者腳都有較大的激活值，而ICNN只能選擇最大的一種。

2.3 通過示例解釋

這種方法容易理解，是一種直觀方法：尋找和待解釋的樣本最“相似”的一個(gè)訓(xùn)練樣本，典型的代表作 Understanding black-box predictions via inflfluence functions,[5]

2.4 按照屬性解釋

按照屬性解釋目前內(nèi)容上最。如前面提及到，決策樹等透明模型難以模仿復(fù)雜的神經(jīng)網(wǎng)絡(luò)，那怎么解決呢？針對(duì)此問題研究的代表作有：Why should i trust you?: Explaining the predictions of any classififier[6]

由于LIME不介入模型的內(nèi)部，需要不斷的擾動(dòng)樣本特征，這里所謂的樣本特征就是指圖片中一個(gè)一個(gè)的像素了。但如果LIME采樣的特征空間太大的話，效率會(huì)非常低，而一張普通圖片的像素少說也有上萬個(gè)。若直接把每個(gè)像素視為一個(gè)特征，采樣的空間過于龐大，嚴(yán)重影響效率；如果少采樣一些，最終效果又會(huì)比較差。所以針對(duì)圖像任務(wù)使用LIME時(shí)還需要一些特別的技巧，也就是考慮圖像的空間相關(guān)和連續(xù)的特性。不考慮一些極小特例的情況下，圖片中的物體一般都是由一個(gè)或幾個(gè)連續(xù)的像素塊構(gòu)成，所謂像素塊是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺意義的不規(guī)則像素塊，我們稱之為超像素。

下面提供一些主動(dòng)干預(yù)型的方法，如Dual-net[7]

其他的還有：用意想空間的對(duì)話系統(tǒng)[8]

這種解釋的類型是最有深度而且也是用戶最容易理解的。但是對(duì)AI模型和訓(xùn)練難度也更高了。目前這方面的研究屈指可數(shù)。

03

可解釋性總結(jié)

推薦閱讀
（點(diǎn)擊標(biāo)題可跳轉(zhuǎn)閱讀）
神經(jīng)網(wǎng)絡(luò)入門
統(tǒng) 計(jì) 學(xué) 無 用 了 ？？？
測(cè)評(píng)：《機(jī)器學(xué)習(xí)中的數(shù)學(xué)》
測(cè)評(píng)：《數(shù)據(jù)科學(xué)工程實(shí)踐》
統(tǒng)治世界的 10 大算法，你知道幾個(gè)？
清華大學(xué)出版！《機(jī)器學(xué)習(xí)導(dǎo)論》PDF下載
老鐵，三連支持一下，好嗎？↓↓↓