深度學(xué)習(xí)可解釋性兩萬(wàn)字綜述

(為了減少小編的工作量，文中部分較為簡(jiǎn)單的公式使用上標(biāo)下標(biāo)的方式來(lái)呈現(xiàn)。如給讀者閱讀帶來(lái)不便，作者非常抱歉。)

深度學(xué)習(xí)可解釋性是目前深度學(xué)習(xí)的主流研究方向之一，更被廣泛認(rèn)為是下一代人工智能技術(shù)的關(guān)鍵一環(huán)。我們可以想象，可解釋性問(wèn)題一旦取得了突破，將立馬對(duì)整個(gè)深度學(xué)習(xí)的科研及應(yīng)用產(chǎn)生全局性的影響，大大促進(jìn)AI在醫(yī)療、安全、國(guó)防、金融等重要領(lǐng)域的應(yīng)用。因此，無(wú)論是做什么方面研究，方法學(xué)創(chuàng)新還是應(yīng)用創(chuàng)新，對(duì)于人工智能研究者來(lái)說(shuō)，關(guān)注并且了解AI可解釋性方面的最新進(jìn)展是十分必要的。本文以最新發(fā)表的可解釋性綜述（On Interpretability of Artificial Neural Networks: A Survey，https://ieeexplore.ieee.org/document/9380482）為基礎(chǔ)，全面系統(tǒng)地介紹可解釋性的最新進(jìn)展，感興趣的讀者也可以直接訪問(wèn)我們的talk（https://www.youtube.com/watch?v=o6AvW0Eqc3g）。

1. 綜述的評(píng)價(jià)和比較

毫無(wú)疑問(wèn)，近幾年來(lái)已經(jīng)有若干篇深度學(xué)習(xí)可解釋性綜述出現(xiàn)。比如 

 Q. Zhang and S. C. Zhu [1] 的《Visual interpretability for deep learning: a survey》； 

 S. Chakraborty et al. [2]的《Interpretability of deep learning models: a survey of results》

 M. Du et al. [3]的《Techniques for interpretable machine learning》；

 L. H. Gilpin et al. [4]的“Explaining explanations: An overview of interpretability of machine learning》；R. Guidotti et al. [5]的《A survey of methods for explaining black box models》；

 A. Adadi and M. Berrada [6]的《Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI) 》。

盡管這些綜述做了很棒的工作，但是他們?cè)谌嫘院图?xì)致性上仍然有相當(dāng)?shù)奶嵘臻g。Q. Zhang and S. C. Zhu的文章主要集中在視覺(jué)可解釋性，比如特征可視化、熱圖等等。S. Chakraborty et al. 的文章全面性稍不足：作為綜述，它只引用了四十幾篇文章，無(wú)法反映出可解釋性的全貌。L. H. Gilpin et al. 集中在事后可解釋性上，即模型已經(jīng)訓(xùn)練好了之后再去解釋它，而忽略了從頭打造可解釋性這一重要方向。R. Guidotti et al. 和A. Adadi and M. Berrada的綜述講的是整個(gè)AI方法的可解釋性，里面不止介紹神經(jīng)網(wǎng)絡(luò)，還有諸多AI模型。因此，這兩個(gè)綜述在神經(jīng)網(wǎng)絡(luò)上著墨相對(duì)有限，也因此遺漏了一些神經(jīng)網(wǎng)絡(luò)可解釋性的重要方向，比如運(yùn)用先進(jìn)的數(shù)理方法來(lái)解釋神經(jīng)網(wǎng)絡(luò)。相比之下，最新的這個(gè)綜述《On Interpretability of Artificial Neural Networks: A Survey》同時(shí)兼顧了全面性和細(xì)致性。這篇綜述總共引用了兩百多篇文獻(xiàn)，對(duì)各類(lèi)方法有教學(xué)性質(zhì)的介紹，同時(shí)也實(shí)現(xiàn)了若干代表性可解釋性方法并公開(kāi)了代碼。

2. 可解釋性的含義

盡管可解釋性這個(gè)詞經(jīng)常用到，但是到底可解釋性的含義是什么，大家的認(rèn)知還是模糊的。Lipton[1]總結(jié)了可解釋性的三層含義：

Simulatability: 指的是對(duì)整個(gè)模型的高層次的理解，比如一個(gè)線性分類(lèi)器就是完全透明、可解釋的。在九十年代的一篇Science論文[2]中，Poggio提出了徑向基函數(shù)網(wǎng)絡(luò)的解釋?zhuān)阂粋€(gè)單隱含層的徑向基函數(shù)網(wǎng)絡(luò)可以是插值問(wèn)題的一個(gè)解，徑向基函數(shù)的形狀是由一個(gè)正則項(xiàng)控制的。由此建立了對(duì)徑向基網(wǎng)絡(luò)的高層次理解。

Decomposability: 指的是通過(guò)了解一個(gè)網(wǎng)絡(luò)每個(gè)組分的作用來(lái)達(dá)到理解一個(gè)模型的作用。這正是工程中常見(jiàn)的模塊化思想。在機(jī)器學(xué)習(xí)里面，決策樹(shù)的可解釋性較強(qiáng)，從輸入到輸出，節(jié)點(diǎn)一路走下來(lái)，每一個(gè)節(jié)點(diǎn)和分支都有一個(gè)特定的功能，所以理解決策樹(shù)就相對(duì)比較簡(jiǎn)單。

Algorithmic transparency: 指的是理解網(wǎng)絡(luò)的訓(xùn)練和動(dòng)態(tài)行為。

[1] Z. C. Lipton, “The mythos of model interpretability,” Queue, vol. 16, no. 3, pp. 31–57, 2018.

[2] T. Poggio and F. Girosi, “Regularization algorithms for learning that are equivalent to multilayer networks,” Science, vol. 247, no. 4945, pp. 978–982, 1990.

3. 可解釋性的困難之處

（1）人類(lèi)局限性（Human Limitation）。在許多情況下，人的專(zhuān)業(yè)知識(shí)是極度缺乏的。當(dāng)我們自身都缺乏某一領(lǐng)域?qū)I(yè)知識(shí)的時(shí)候，我們又該如何來(lái)理解神經(jīng)網(wǎng)絡(luò)在這一個(gè)領(lǐng)域的應(yīng)用呢？舉一個(gè)極端的例子，在Fan et al. [1]中，神經(jīng)網(wǎng)絡(luò)被用來(lái)預(yù)測(cè)偽隨機(jī)事件。首先一串隨機(jī)數(shù)被生成，作者將前100000位數(shù)字作為神經(jīng)網(wǎng)絡(luò)輸入，100001位數(shù)字作為神經(jīng)網(wǎng)絡(luò)的輸出。預(yù)測(cè)的準(zhǔn)確度達(dá)到了3。據(jù)此作者猜想，神經(jīng)網(wǎng)絡(luò)可以用來(lái)驗(yàn)證上帝是否投擲色子這一物理學(xué)經(jīng)典問(wèn)題，因?yàn)樯窠?jīng)網(wǎng)絡(luò)的高度敏感性和學(xué)習(xí)能力可以來(lái)判定一串隨機(jī)數(shù)是真隨機(jī)還是偽隨機(jī)。可以想象，對(duì)這樣的網(wǎng)絡(luò)進(jìn)行可解釋性的研究是非常困難的，因?yàn)殡S機(jī)數(shù)背后是不是隱含著物理規(guī)律（量子力學(xué)背后是否有更深刻的理論）現(xiàn)在世界上沒(méi)有幾個(gè)人搞的清楚。

（2）商業(yè)阻礙 （Commercial Barrier）[2]。首先，如果商業(yè)公司使用的是一個(gè)完全透明的神經(jīng)網(wǎng)絡(luò)模型來(lái)做應(yīng)用，那么公司肯定就無(wú)法賺錢(qián)了。第二，模型的不可解釋性在一定程度上可以保護(hù)公司的知識(shí)產(chǎn)權(quán)。如果一個(gè)模型可解釋性很強(qiáng)，那么競(jìng)爭(zhēng)者就有可能通過(guò)逆向工程把模型給做出來(lái)，就會(huì)損害公司的利益。第三，打造一個(gè)可解釋性模型會(huì)造成額外的工作，有些工程師并不愿意這樣做。

（3）數(shù)據(jù)異質(zhì)化（Data Wildness）。一個(gè)真實(shí)的數(shù)據(jù)集可能包含著各種各樣你想象不到的數(shù)據(jù)。比如一個(gè)醫(yī)療數(shù)據(jù)集可能包括以下數(shù)據(jù)：臨床數(shù)據(jù)，分子數(shù)據(jù)，圖像和生物測(cè)量信號(hào)，實(shí)驗(yàn)室化驗(yàn)結(jié)果，病患口述結(jié)果等等。此外，數(shù)據(jù)的維度也很高，一個(gè)很小的圖片也能達(dá)到幾百上萬(wàn)維。在高維空間發(fā)展可解釋性比在低維空間要難的多。其實(shí)，我們對(duì)低維情形的網(wǎng)絡(luò)運(yùn)行機(jī)理已經(jīng)有了相當(dāng)?shù)牧私狻?/p>

（4）算法復(fù)雜性（Algorithmic Complexity）。深度神經(jīng)網(wǎng)絡(luò)不僅使用各種各樣的非線性組件，并且參數(shù)量還特別巨大，往往形成過(guò)參數(shù)化的情況。甚至意料之外的情況也會(huì)出現(xiàn)，比如，九十年代一篇論文的證明結(jié)果：RNN可能會(huì)產(chǎn)生混沌現(xiàn)象[3]。

4. 可解釋性研究好壞的評(píng)價(jià)

接下來(lái)一個(gè)問(wèn)題是，評(píng)估可解釋性方法質(zhì)量的標(biāo)準(zhǔn)是什么？由于現(xiàn)有的評(píng)估方法還不成熟，因此我們提出了五種通用且定義明確的經(jīng)驗(yàn)法則：精準(zhǔn)度，一致性，完整性，普遍性和實(shí)用性。

精準(zhǔn)度：精準(zhǔn)度是指解釋方法的準(zhǔn)確性。一個(gè)可解釋性算法是否只限于定性描述還是存在定量分析？通常，定量解釋方法比定性解釋方法更為可取。

一致性：一致性表明解釋中沒(méi)有任何矛盾。對(duì)于多個(gè)相似的樣本，好的解釋?xiě)?yīng)該產(chǎn)生一致的答案。此外，解釋方法應(yīng)符合真實(shí)模型的預(yù)測(cè)。例如，基于代理的方法是利用它們對(duì)原始模型的復(fù)制準(zhǔn)確程度進(jìn)行評(píng)估的。

完整性：從數(shù)學(xué)上講，神經(jīng)網(wǎng)絡(luò)是要學(xué)習(xí)最適合數(shù)據(jù)的映射。一個(gè)好的解釋方法應(yīng)該顯示出在最大數(shù)量的數(shù)據(jù)實(shí)例和數(shù)據(jù)類(lèi)型方面的有效性，而不是只對(duì)某些數(shù)據(jù)有效。

通用性：隨著深度學(xué)習(xí)的飛速發(fā)展，深度學(xué)習(xí)方法庫(kù)已大大豐富。這種多樣化的深度學(xué)習(xí)模型在各種任務(wù)中扮演著重要的角色。我們是否可以開(kāi)發(fā)一種通用解釋器，該解釋器可以解釋盡可能多的模型以節(jié)省人工和時(shí)間？但由于模型之間的高度可變性，通用解釋器在技術(shù)上非常具有挑戰(zhàn)性。

實(shí)用性：對(duì)神經(jīng)網(wǎng)絡(luò)的了解使我們獲得了什么？除了獲得從業(yè)者和用戶的信任之外，可解釋性的成果還可以是對(duì)網(wǎng)絡(luò)設(shè)計(jì)，訓(xùn)練等的深刻見(jiàn)解。由于其黑盒性質(zhì)，使用神經(jīng)網(wǎng)絡(luò)在很大程度上是一個(gè)反復(fù)試驗(yàn)的過(guò)程，有時(shí)會(huì)產(chǎn)生矛盾的直覺(jué)?？山忉屝缘脑鰪?qiáng)應(yīng)當(dāng)要幫助我們理清這些矛盾之處。

1. 趨勢(shì)

2020年9月22日，我們將搜索詞“Deep Learning Interpretability”, “Neural Network Interpretability”, “Explainable Neural Network”和 “Explainable Deep Learning”輸入到Web of Science中，時(shí)間范圍為2000年至2019年。圖1中繪制了相對(duì)于年份的文章數(shù)量的變化，該圖清楚地顯示了神經(jīng)網(wǎng)絡(luò)可解釋性領(lǐng)域的指數(shù)增長(zhǎng)趨勢(shì)。

圖1. 深度學(xué)習(xí)可解釋性論文的指數(shù)增長(zhǎng)趨勢(shì)

2. 方法的分類(lèi)

根據(jù)我們對(duì)論文的調(diào)查，我們將可解釋性論文進(jìn)行如下分類(lèi)。

圖2. 深度學(xué)習(xí)可解釋性論文的分類(lèi)法

具體來(lái)說(shuō)：首先可以分成兩大類(lèi)：“事后可解釋性分析”和“事前可解釋性建?！?。前者是模型已經(jīng)訓(xùn)練好了，然后去解釋?zhuān)笳呤菑念^設(shè)計(jì)可解釋性的模型。進(jìn)一步，“事后可解釋性分析”可以分成七個(gè)子類(lèi)：特征分析（Feature Analysis）、模型檢查（Model Inspection）、顯著表征（Saliency）、代理模型（Proxy）、先進(jìn)數(shù)理（Advanced Math/Physics Method）、案例解釋?zhuān)‥xplaining-by-Case）、文本解釋?zhuān)‥xplaining-by-Text）。“事前可解釋性建?！笨梢栽俜殖煽山忉尡硎荆↖nterpretable Representation）、模型修繕（Model Renovation）。下面我們逐個(gè)進(jìn)行解釋。

2.1 事后可解釋性分析

事后可解釋性是在充分學(xué)習(xí)模型之后進(jìn)行的。事后方法的一個(gè)主要優(yōu)點(diǎn)是，由于預(yù)測(cè)和解釋是兩個(gè)獨(dú)立的過(guò)程而不會(huì)相互干擾，因此不需要為了追求預(yù)測(cè)性能來(lái)犧牲可解釋性。但是，事后解釋通常并不完全忠實(shí)于原始模型。因?yàn)槿绻忉屌c原始模型相比100％準(zhǔn)確，那么它就跟原始模型一樣了。因此，此類(lèi)別中的任何解釋方法或多或少都是不準(zhǔn)確的。糟糕的是，我們常常不知道時(shí)哪里出現(xiàn)了細(xì)微差別，因此我們很難完全信任事后解釋方法。

特征分析（Feature Analysis）技術(shù)的重點(diǎn)是比較、分析和可視化神經(jīng)網(wǎng)絡(luò)的神經(jīng)元和層的特征。通過(guò)特征分析，可以識(shí)別敏感特征及其處理方式，從而可以在一定程度上解釋模型的原理。特征分析技術(shù)可以應(yīng)用于任何神經(jīng)網(wǎng)絡(luò)，并提供有關(guān)網(wǎng)絡(luò)學(xué)習(xí)了哪些特征的定性見(jiàn)解。但是，這些技術(shù)缺乏深入，嚴(yán)格和統(tǒng)一的理解，因此很難用來(lái)反饋提高神經(jīng)網(wǎng)絡(luò)的可解釋性。

模型檢查（Model Inspection）方法使用外部算法，通過(guò)系統(tǒng)地提取神經(jīng)網(wǎng)絡(luò)內(nèi)部工作機(jī)制的重要結(jié)構(gòu)和參數(shù)信息，來(lái)深入研究神經(jīng)網(wǎng)絡(luò)。與定性分析相比，此類(lèi)中的方法在技術(shù)上更具可靠性，比如統(tǒng)計(jì)分析工具介入到了對(duì)模型的分析。通過(guò)模型檢查方法獲得的信息更值得信賴和也更有用。在一個(gè)研究中[1]，研究人員發(fā)現(xiàn)了重要的數(shù)據(jù)路由路徑。使用這種數(shù)據(jù)路由路徑，可以將模型準(zhǔn)確地壓縮為緊湊的模型。

顯著表征（Saliency）方法確定輸入數(shù)據(jù)的哪些屬性與模型的預(yù)測(cè)或潛在表示最相關(guān)。在此類(lèi)別中，需要進(jìn)行人工檢查來(lái)確定顯著性圖是否合理。在大多數(shù)情況下，顯著性圖很有用。例如，如果北極熊總是與雪或冰出現(xiàn)在同一張圖片中，則該模型可能會(huì)選擇用雪或冰的信息來(lái)檢測(cè)北極熊，而不是使用了北極熊的真實(shí)特征。使用顯著性圖，我們就可以發(fā)現(xiàn)并避免此問(wèn)題。顯著性方法在可解釋性研究中很流行，但是，大量隨機(jī)測(cè)試顯示，某些顯著性方法可以獨(dú)立于模型且不依賴于數(shù)據(jù)[2]，即某些方法提供的顯著性圖與邊緣檢測(cè)器產(chǎn)生的結(jié)果高度相似。這是有問(wèn)題的，因?yàn)檫@意味著那些顯著性方法無(wú)法找到解釋模型預(yù)測(cè)的輸入的真實(shí)屬性。在這種情況下，應(yīng)開(kāi)發(fā)與模型相關(guān)和與數(shù)據(jù)相關(guān)的顯著性方法。

代理模型（Proxy）方法構(gòu)造了一個(gè)更簡(jiǎn)單，更易解釋的代理模型。理想情況下，它與經(jīng)過(guò)訓(xùn)練的，大型，復(fù)雜和黑盒子的深度學(xué)習(xí)模型非常相似。代理方法可以是部分空間中的局部方法，也可以是整個(gè)空間中的全局方法。經(jīng)常使用的代理模型包括決策樹(shù)，規(guī)則系統(tǒng)等。代理方法的弱點(diǎn)是構(gòu)建代理模型需要付出額外成本。

先進(jìn)數(shù)理（Advanced Math/Physics Method）將神經(jīng)網(wǎng)絡(luò)置于數(shù)學(xué)/物理框架中，便可以使用高級(jí)的數(shù)學(xué)/物理工具來(lái)了解神經(jīng)網(wǎng)絡(luò)的機(jī)制。此類(lèi)別涵蓋了深度學(xué)習(xí)的理論進(jìn)展，包括非凸優(yōu)化，表示能力和泛化能力。本類(lèi)別中的方法可能會(huì)出現(xiàn)一種情況：為了建立合理的解釋?zhuān)袝r(shí)會(huì)做出不切實(shí)際的假設(shè)以促進(jìn)理論分析。

案例解釋?zhuān)‥xplaining-by-Case）方法與基于案例的推理相似[3]。人們喜歡例子。一個(gè)人可能不會(huì)沉迷于產(chǎn)品的統(tǒng)計(jì)數(shù)字，但會(huì)喜歡看其他用戶使用該產(chǎn)品的經(jīng)驗(yàn)?；诎咐纳疃葘W(xué)習(xí)解釋也是這樣的想法。個(gè)案解釋方法提供了具有代表性的示例，這些示例捕獲了模型的特質(zhì)。此類(lèi)中的方法有趣且啟發(fā)人心。但是，這種做法更像是一種健全性檢查，而不是一般性的解釋?zhuān)驗(yàn)閺倪x定的查詢案例中了解的關(guān)于神經(jīng)網(wǎng)絡(luò)內(nèi)部工作的信息不多。

文本解釋?zhuān)‥xplaining-by-Text）方法在圖像語(yǔ)言聯(lián)合任務(wù)中生成文本描述，這非常有助于理解模型的行為。此類(lèi)也可以包括生成用于解釋的符號(hào)的方法。此類(lèi)中的方法在圖像語(yǔ)言聯(lián)合任務(wù)（例如從X射線射線照片生成診斷報(bào)告）中特別有用。但是，文本解釋不是通用的技術(shù)，因?yàn)樗挥性谀Ｐ椭写嬖谡Z(yǔ)言模塊時(shí)才能起作用。

2.2 事前可解釋的建模

事前可解釋模型可以避免事后可解釋性分析中的偏見(jiàn)。盡管通常認(rèn)為在可解釋性和模型可表達(dá)性之間存在權(quán)衡，但仍然有可能找到功能強(qiáng)大且可解釋的模型。一個(gè)例子是在[4]中報(bào)道的工作，其中可解釋的兩層加性風(fēng)險(xiǎn)模型在FICO識(shí)別競(jìng)賽中獲得了第一名。最近，伯克利馬毅老師基于數(shù)據(jù)壓縮和預(yù)測(cè)的思想自動(dòng)構(gòu)建出一個(gè)網(wǎng)絡(luò)，是這類(lèi)方法的一個(gè)標(biāo)志性工作。

可解釋表示（Interpretable Representation）方法采用正則化技術(shù)將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練引向更具解釋性的表示。諸如可分解性，稀疏性和單調(diào)性之類(lèi)的屬性可以增強(qiáng)可解釋性。但是，為了可解釋性，損失函數(shù)必須包含正則項(xiàng)，這可能限制了原始模型執(zhí)行其完整的學(xué)習(xí)任務(wù)。

模型修繕（Model Renovation）方法通過(guò)將更多可解釋的組件設(shè)計(jì)和部署來(lái)尋求可解釋性。這些組件包括具有專(zhuān)門(mén)設(shè)計(jì)的激活功能的神經(jīng)元，具有特殊功能的插入層，模塊化體系結(jié)構(gòu)等。未來(lái)的方向是使用越來(lái)越多的可解釋組件，這些組件可以同時(shí)為各種任務(wù)提供類(lèi)似的先進(jìn)性能。

1. 特征分析

基于invert的方法[1-4]通過(guò)將特征圖invert為一個(gè)合成的圖像來(lái)破解神經(jīng)網(wǎng)絡(luò)。例如，A.Mahendran和A. Vedaldi [2] 假設(shè)輸入圖像為x_0，對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)Ω_0的表示為Ω_0=Ω（x_0），其中Ω是神經(jīng)網(wǎng)絡(luò)映射，通常不可逆。然后，invert問(wèn)題被建模成一個(gè)優(yōu)化問(wèn)題：

即尋找一個(gè)圖像，該圖像的神經(jīng)網(wǎng)絡(luò)表示與x_0的神經(jīng)網(wǎng)絡(luò)表示最匹配。R（x）是表示有關(guān)輸入圖像的先驗(yàn)知識(shí)的正則化項(xiàng)。invert出來(lái)圖像之后，我們可以通過(guò)比較得到的圖像和原始圖像之間的差異來(lái)揭示神經(jīng)網(wǎng)絡(luò)丟失的信息。Dosovitskiy [1]直接訓(xùn)練了一個(gè)新網(wǎng)絡(luò)，將感興趣模型生成的中間層特征作為輸入，將圖像作為標(biāo)簽。這樣學(xué)到的網(wǎng)絡(luò)可以將中間層的特征轉(zhuǎn)化為圖像。他們發(fā)現(xiàn)即使從很深的層產(chǎn)生的特征中，輪廓和顏色等信息仍然可以重構(gòu)出來(lái)。M.D.Zeiler [4]設(shè)計(jì)了一個(gè)由反卷積+反池化+ReLU操作組成的反向網(wǎng)絡(luò)，與原始卷積網(wǎng)絡(luò)配對(duì)，從而無(wú)需訓(xùn)練就可以直接反轉(zhuǎn)出特征。在反卷積網(wǎng)絡(luò)中，通過(guò)標(biāo)記最大值的位置來(lái)實(shí)現(xiàn)反池化，反卷積層使用轉(zhuǎn)置卷積。

激活最大化方法[5-8]致力于合成使神經(jīng)網(wǎng)絡(luò)整體或者對(duì)某個(gè)感興趣的神經(jīng)元的輸出響應(yīng)最大化的圖像。生成的圖像稱(chēng)為“deep dream”，因?yàn)檫@些圖像往往比較抽象，具有夢(mèng)境般的視覺(jué)效果。

在[9]，[10]，[11]，[12]，[13]中指出，可以從每個(gè)神經(jīng)元中提取有關(guān)深度模型的信息。J.Yosinski等[12]直接檢查了不同圖像或視頻的每一層神經(jīng)元的激活值。他們發(fā)現(xiàn)，針對(duì)不同輸入而變化的實(shí)時(shí)神經(jīng)元激活值有助于理解模型的工作方式。Y. Li 等[11]比較了不同初始化生成的特征，以研究神經(jīng)網(wǎng)絡(luò)在隨機(jī)初始化時(shí)是否學(xué)習(xí)了相似的表示。感受野（Receptive Field, RF）是神經(jīng)元與輸入[14]連接的空間范圍。為了研究神經(jīng)元給定輸入的RF的大小和形狀，B. Zhou等 [13]提出了一種網(wǎng)絡(luò)解剖方法，該方法首先為感興趣的神經(jīng)元選擇具有高激活值的K個(gè)圖像，然后通過(guò)遮擋圖像的局部為每個(gè)圖像構(gòu)建5,000個(gè)遮擋圖像，然后將它們輸入到神經(jīng)網(wǎng)絡(luò)中，以觀察針對(duì)一個(gè)神經(jīng)元的激活值的變化。產(chǎn)生較大的差異代表被遮擋的塊兒是重要的。最后，將具有較大差異的遮擋圖像集中并進(jìn)行平均以生成RF。此外，D. Bau等人 [15]將給定層的低分辨率激活圖放大到與輸入相同的大小，將該圖閾值截?cái)酁槎M(jìn)制激活圖，然后計(jì)算二進(jìn)制激活圖和ground truth二進(jìn)制分割之間的重疊區(qū)域，作為可解釋性度量。A. Karpathy等 [10]將LSTM 中的門(mén)定義為左飽和或右飽和，具體取決于其激活值是小于0.1還是大于0.9。在這方面，經(jīng)常右飽和的神經(jīng)元意味著這些神經(jīng)元可以長(zhǎng)時(shí)間記住其值。Q.Zhang等 [16]假定較底層中的部件圖案可以來(lái)激活下一層中的卷積核。他們逐層挖掘零件圖案，從每一層的特征圖中發(fā)現(xiàn)前一層的部件圖案的激活峰，并構(gòu)造了一個(gè)解釋性的graph來(lái)描述層與層特征的關(guān)系，其中每個(gè)節(jié)點(diǎn)代表一個(gè)部件圖案，相鄰層之間的邊代表一個(gè)激活關(guān)系。

2. 模型檢查

P. W. Koh和P. Liang [1]應(yīng)用影響函數(shù)的概念來(lái)解決以下問(wèn)題：給定一個(gè)樣本的預(yù)測(cè)，數(shù)據(jù)集中的其他樣本對(duì)該預(yù)測(cè)有正面影響還是負(fù)面影響？該分析還可以幫助識(shí)別數(shù)據(jù)中存在錯(cuò)誤注釋的標(biāo)簽和異常值。如圖3所示，給定類(lèi)似LeNet-5的網(wǎng)絡(luò)，通過(guò)影響函數(shù)可以識(shí)別給定圖像的兩個(gè)有害圖像。

圖 3. 根據(jù)影響函數(shù)，兩個(gè)對(duì)測(cè)試圖像有害的樣本在數(shù)據(jù)集中被找到

[2] [3]和 [4]致力于神經(jīng)網(wǎng)絡(luò)中故障或偏差的檢測(cè)。例如，A.Bansal等人 [2]開(kāi)發(fā)了一種通用算法，以識(shí)別那些神經(jīng)網(wǎng)絡(luò)可能無(wú)法為其提供任何預(yù)測(cè)的實(shí)例。在這種情況下，該模型將發(fā)出“不要信任我的預(yù)測(cè)”之類(lèi)的警告而不是給予一個(gè)預(yù)測(cè)。具體來(lái)說(shuō)，他們使用一系列屬性特征來(lái)注釋所有失敗的圖像，并將這些圖像聚類(lèi)。結(jié)果，每個(gè)類(lèi)指示一種故障模式。為了有效地識(shí)別那些在數(shù)據(jù)集中具有較高預(yù)測(cè)分?jǐn)?shù)的標(biāo)簽錯(cuò)誤的實(shí)例，H. Lakkaraju等 [3]引入了兩個(gè)基本的推測(cè)：第一個(gè)推測(cè)是高可信度地錯(cuò)誤標(biāo)記實(shí)例是由于系統(tǒng)的偏見(jiàn)而不是隨機(jī)擾動(dòng)，第二個(gè)推測(cè)則是每個(gè)失敗的實(shí)例都具有代表性和信息量。然后，他們將圖像分為幾組，并設(shè)計(jì)搜索策略來(lái)搜索失敗實(shí)例。為了發(fā)現(xiàn)偏見(jiàn)，Q. Zhang等[4]根據(jù)人類(lèi)的常識(shí)（火對(duì)應(yīng)熱與冰對(duì)應(yīng)冷）利用屬性之間的真實(shí)關(guān)系來(lái)檢查神經(jīng)網(wǎng)絡(luò)所挖掘出的屬性關(guān)系是否完全符合真實(shí)。

Y. Wang等 [5]通過(guò)識(shí)別關(guān)鍵數(shù)據(jù)鏈路理解網(wǎng)絡(luò)。具體而言，將門(mén)控制二進(jìn)制矢量λ_k∈{0,1} ^（n_k）與第k層的輸出相乘，其中n_k是第k層中神經(jīng)元的數(shù)量?？刂崎T(mén)的開(kāi)閉則可識(shí)別關(guān)鍵鏈路，數(shù)學(xué)化為搜索λ_1，…，λ_K：

其中f_θ是由用θ參數(shù)化的神經(jīng)網(wǎng)絡(luò)表示的映射，f_θ（x; λ_1，...，λ_K）是強(qiáng)制執(zhí)行控制門(mén)λ_1，...，λ_K時(shí)的映射，d（?，?）是距離度量，γ是一個(gè)常數(shù)，控制損失和正則化之間的折衷，||?|| _1是l_1范數(shù)，使得λ_k稀疏。學(xué)習(xí)的控制門(mén)將會(huì)暴露模型的重要數(shù)據(jù)處理路徑。B.Kim等 [6]提出了概念激活向量（CAV），它可以定量地測(cè)量概念C對(duì)網(wǎng)絡(luò)任何層的敏感性。首先，訓(xùn)練二元線性分類(lèi)器h來(lái)區(qū)分兩組樣本刺激的層激活：{f_l（x）：x∈P_C}和{f_l（x）：x?P_C}，其中f_l（x）是在第l層激活層，P_C表示包含概念C的數(shù)據(jù)。然后，將CAV定義為線性分類(lèi)器超平面的法向單位矢量v_C ^ l，該分類(lèi)器分類(lèi)具有和不具有定義概念的樣本。最后，使用v_C ^ l來(lái)計(jì)算第l層中作為方向?qū)?shù)的概念C的敏感度：

其中h_（l，k）表示針對(duì)輸出類(lèi)別k的訓(xùn)練后的二分類(lèi)線性分類(lèi)器的輸出。J.You等[7]將神經(jīng)網(wǎng)絡(luò)映射成關(guān)系圖，然后通過(guò)大量實(shí)驗(yàn)研究神經(jīng)網(wǎng)絡(luò)的圖結(jié)構(gòu)與其預(yù)測(cè)性能之間的關(guān)系（將圖轉(zhuǎn)錄成網(wǎng)絡(luò)并在數(shù)據(jù)集上實(shí)現(xiàn)該網(wǎng)絡(luò)）。他們發(fā)現(xiàn)網(wǎng)絡(luò)的預(yù)測(cè)性能與兩個(gè)圖形度量相關(guān)：聚類(lèi)系數(shù)和平均路徑長(zhǎng)度。這項(xiàng)研究的潛力在于，以后進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)時(shí)就無(wú)需每種網(wǎng)絡(luò)都要跑一次，大大節(jié)省時(shí)間，不過(guò)這個(gè)論文也有缺點(diǎn)，就是他們找到的度量不是單調(diào)的，這樣會(huì)給使用帶來(lái)麻煩。

3. 顯著表征

有很多方法可以獲取顯著性圖。部分依賴圖（Partial Dependence Plot, PDP）和個(gè)體條件期望（Individual Conditional Expectation, ICE）[1]，[2]，[3]是使用比較廣泛的統(tǒng)計(jì)工具，用于可視化負(fù)責(zé)任變量和預(yù)測(cè)變量之間的依賴關(guān)系。為了計(jì)算PDP，假設(shè)有p個(gè)輸入維，并且S，C?{1,2，.. p}是兩個(gè)互補(bǔ)集，其中S是將要固定的集合，而C是將要改變的集合。然后，通過(guò)f_S =∫f（x_S，x_C）dx_C定義x_S的PDP，其中f是模型。與PDP相比，ICE的定義很簡(jiǎn)單。通過(guò)固定x_C并更改x_S可獲得x_S處的ICE曲線。圖4是一個(gè)簡(jiǎn)單的示例，分別說(shuō)明如何計(jì)算PDP和ICE。

還有一種簡(jiǎn)單的方法也就是各種學(xué)科都會(huì)用到的控制變量法。即刪除一個(gè)特征看模型的變化[4-8]。這個(gè)變化是刪除變量產(chǎn)生的，那么自然可以反應(yīng)這個(gè)變量的作用。P.Adler[4]提出應(yīng)考慮輸入的間接影響。例如，在房屋貸款決策系統(tǒng)中，種族不應(yīng)成為決策的因素。但是，僅消除種族因素不足以排除種族的影響，因?yàn)橐恍┦Ｓ嗟囊蛩乩纭班]政編碼”與種族高度相關(guān)（郵編對(duì)應(yīng)居住區(qū)域，黑人區(qū)，白人區(qū)涇渭分明）。

圖 4. 一個(gè)簡(jiǎn)單的例子解釋PDP 和 ICE. 左邊：為了計(jì)算PDP，固定感興趣的變量，讓剩余的變量變化然后求平均。右邊為了計(jì)算ICE，讓感興趣的變量直接動(dòng)

此外，[9-13]中使用了合作博弈的Shapley值。在數(shù)學(xué)上，相對(duì)于特征i的設(shè)定函數(shù)f ?的Shapley值定義為：

其中|?|是集合的大小，P是N個(gè)玩家的總玩家集合，并且集合函數(shù)f ? 將每個(gè)子集S?P映射為實(shí)數(shù)?？梢钥闯鰏hapley value不止局限于去除一個(gè)變量，它運(yùn)用了其它變量之間的聯(lián)合，因此計(jì)算出的變量i的重要性更全面。此外，可以通過(guò)用零值替換輸入中不在S中的特征，將Shapley值的定義從一個(gè)集合函數(shù)拓展到神經(jīng)網(wǎng)絡(luò)函數(shù)f。M. Ancona等人 [6] 為了減少組合爆炸引起的過(guò)高的計(jì)算成本提出了一種新穎的Shapley值的多項(xiàng)式時(shí)間逼近方法，該方法基本上計(jì)算了一個(gè)隨機(jī)聯(lián)合的期望值，而不是枚舉每個(gè)聯(lián)合，這樣就降低了shapley value計(jì)算的復(fù)雜性。圖5顯示了一個(gè)簡(jiǎn)單示例，說(shuō)明如何為在一個(gè)住房數(shù)據(jù)集上訓(xùn)練的全連接層網(wǎng)絡(luò)計(jì)算Shapley值，該網(wǎng)絡(luò)包括八個(gè)屬性，例如房屋年齡和房間號(hào)作為輸入，房屋價(jià)格作為標(biāo)簽。

圖5. 正的shapley value值代表正面影響，這里shapley value告訴我們模型可能有異常，因?yàn)榉课菰嚼?，價(jià)格越高，這違反常識(shí)

除了直接去除一個(gè)或多個(gè)特征，借助于梯度也是一個(gè)好辦法。K.Simonyan等[14]，D.Smilkov等 [15]，M. Sundararajan等[16]和S. Singla等 [17]利用梯度的思想來(lái)探究輸入的顯著性。K.Simonyan等[14]直接計(jì)算了類(lèi)別得分相對(duì)于圖像像素的梯度，由此產(chǎn)生了一個(gè)類(lèi)別的顯著性圖。D.Smilkov等 [15]發(fā)現(xiàn)梯度作為顯著度圖噪聲很大。為了消除噪聲，他們提出了“ SmoothGrad”，模型將噪聲多次添加到輸入圖像中，并對(duì)得到的梯度圖進(jìn)行平均：

其中M_c^((n))是類(lèi)別c的梯度圖，N（0，σ^ 2）是具有σ的高斯噪聲作為標(biāo)準(zhǔn)方差。基本上(M_c ) ?(x)是顯著度圖的平滑版本。M. Sundararajan等[16]為顯著性方法設(shè)定了兩個(gè)基本要求：（敏感度）如果輸入和baseline之間只有一個(gè)特征不同，并且輸入和baseline的輸出不同，則該特征應(yīng)被歸功于顯著性；（實(shí)現(xiàn)不變性）在兩個(gè)功能上等效的網(wǎng)絡(luò)中，同一功能的屬性應(yīng)相同。M. Sundararajan等注意到較早的基于梯度的顯著性方法未能滿足上述兩個(gè)要求，他們提出了積分梯度符合上面兩個(gè)條件，公式為：

其中F（?）是神經(jīng)網(wǎng)絡(luò)映射，x =（x_1，x_2，…，x_N）是輸入，x^'=(x_1^',x_2^',…,x_N^') 是滿足：

的baseline。實(shí)際中，他們將積分轉(zhuǎn)換為離散求和其中M是逼近積分的步數(shù)。S.Singla等 [17]提出使用泰勒展開(kāi)式的二階近似來(lái)產(chǎn)生顯著性圖。G.Montavon等[20]使用泰勒分解的整個(gè)一階項(xiàng)來(lái)產(chǎn)生顯著性圖，而不僅僅是梯度。假設(shè)  x ? 是模型函數(shù)f(x)事先選好的根f(x ?  )=0，因?yàn)閒（x）可以分解為：

中?為高階項(xiàng)，與像素i相關(guān)的像素相關(guān)性表示為：

S.Bach等 [18]提出了層級(jí)相關(guān)性傳播（LRP）。假設(shè)模型輸出f（x）在每一層都可以表示為相關(guān)性之和。對(duì)于輸入層來(lái)說(shuō)，就是輸入圖像的像素級(jí)相關(guān)性。在最后一層：

其中L是最后一層，w_p是第（L-1）層的像素p與最終層之間的權(quán)重。然后需要定義相關(guān)性的傳播關(guān)系，給定前饋神經(jīng)網(wǎng)絡(luò)，我們定義：

其中

是第l層像素p之間的權(quán)重（l + 1）^層的像素j。此外，L. Arras等 [19]將LRP擴(kuò)展到遞歸神經(jīng)網(wǎng)絡(luò)（RNN）以進(jìn)行情感分析。A. Shrikumar等[21]發(fā)現(xiàn)，即使神經(jīng)元沒(méi)有被激活，它仍然有可能揭示有用的信息。因此他們提出了DeepLIFT來(lái)計(jì)算每個(gè)神經(jīng)元的激活與其參考值之間的差異，其中參考值是當(dāng)網(wǎng)絡(luò)被提供參考輸入時(shí)該神經(jīng)元的激活，然后將該差異逐層反向傳播到圖像空間。C. Singh等 [22]引入了上下文分解，其層傳播公式為

其中W是第i個(gè)之間的權(quán)重矩陣第i和i-1層，b是偏差向量。β_i（x）被視為輸入的上下文貢獻(xiàn)，而γ_i（x）表示非上下文輸入對(duì)g_i（x）的貢獻(xiàn)。僅僅憑借上面兩個(gè)公式是沒(méi)法解的，還需有限制條件。限制條件是g_i（x）=β_i（x）+γ_i（x），即β_i（x）和γ_i（x）加在一起等于網(wǎng)絡(luò)的層的輸出。

圖6.展示了使用類(lèi)似LeNet-5的網(wǎng)絡(luò)對(duì)原始梯度，SmoothGrad，IntegratedGrad和Deep Taylor方法的評(píng)估。其中，IntegratedGrad和Deep Taylor方法在5位數(shù)字上表現(xiàn)出色

一些其它的方式也可以來(lái)得到顯著度圖。比如使用模型的輸入和輸出之間的關(guān)聯(lián)的互信息度 [23-25]。此外，T. Lei等 [28]利用生成器來(lái)產(chǎn)生能代表原始文本的重要片段，這些片段滿足兩個(gè)條件：1）片段應(yīng)足以替代原始文本；2）片段應(yīng)簡(jiǎn)短而連貫。類(lèi)似的，求解片段實(shí)際上等效于求解一個(gè)mask，可以將mask視為顯著性圖?；谝陨蟽蓚€(gè)約束，掩碼的懲罰項(xiàng)可表示為：

其中z=[z_1,z_2,…]是一個(gè)掩碼，第一項(xiàng)控制片段的數(shù)量，第二項(xiàng)控制片段的平滑。

類(lèi)激活圖（CAM）方法及其變體 [30-31]在全連接層之前使用全局平均池來(lái)導(dǎo)出判別區(qū)域。具體來(lái)說(shuō), 假設(shè) f_k (x,y) 表示第k個(gè)特征圖, 給定類(lèi)別c，那么softmax層的輸入是：

其中 w_k^c 是連接第 k^th 特征圖和類(lèi)別 c的權(quán)重向量。區(qū)分區(qū)域?yàn)椋?/p>

這直接暗示了（x，y）處的像素對(duì)于類(lèi)別c的重要性。此外，還有一些弱監(jiān)督學(xué)習(xí)方法，例如M. Oquab等[32]也可以得到判別區(qū)域。具體來(lái)說(shuō)，他們只用對(duì)象標(biāo)簽訓(xùn)練網(wǎng)絡(luò)，但是，當(dāng)他們重新縮放最大池化層生成的特征圖時(shí)，令人驚訝地發(fā)現(xiàn)這些特征圖與輸入中對(duì)象的位置一致。

4. 代理模型

代理方法可以分成三類(lèi)。第一類(lèi)是直接提取。直接提取的思想是直接從訓(xùn)練后的模型中構(gòu)建新的可解釋模型，例如決策樹(shù)[1-2]或基于規(guī)則的系統(tǒng)。就提取規(guī)則而言，可以使用decompositional方法[3]和pedagogical方法[4-5]。pedagogical方法提取與神經(jīng)網(wǎng)絡(luò)具有相似輸入輸出關(guān)系的規(guī)則體系。這些規(guī)則與網(wǎng)絡(luò)的權(quán)重和結(jié)構(gòu)并不直接對(duì)應(yīng)。例如，有效性間隔分析（VIA）[6]提取以下形式的規(guī)則：

IF（輸入∈某個(gè)范圍），THEN輸入屬于某個(gè)類(lèi)。

R. Setiono和H. Liu [3]基于激活值的接近度，對(duì)隱藏的單元激活值進(jìn)行了聚類(lèi)。然后，每個(gè)聚類(lèi)簇的激活值由它們的平均激活值代替，在此過(guò)程中，應(yīng)選擇合適的聚類(lèi)類(lèi)別數(shù)目來(lái)盡可能保持神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。接下來(lái)，將具有相同平均隱藏單元激活值的輸入數(shù)據(jù)聯(lián)合考慮，這些數(shù)據(jù)的邊界可以幫助我們建立規(guī)則集。在圖7中，我們說(shuō)明了在Iris數(shù)據(jù)集上使用R. Setiono和H. Liu的方法從一個(gè)隱藏層網(wǎng)絡(luò)中獲得的規(guī)則。

在用于二分類(lèi)問(wèn)題的神經(jīng)網(wǎng)絡(luò)中，決策邊界將輸入空間分為兩部分，分別對(duì)應(yīng)于兩個(gè)類(lèi)別。E.W. Saad等人提出HYPINV方法[7]先用片段連續(xù)的決策邊界來(lái)計(jì)算決策曲線，然后為每個(gè)決策邊界超平面片段計(jì)算一個(gè)切向量。輸入實(shí)例與切向量之間的內(nèi)積符號(hào)將暗示輸入實(shí)例位于邊界的哪一冊(cè)?；谶@些內(nèi)積，我們可以建立一套規(guī)則系統(tǒng)。

圖 7. 從網(wǎng)絡(luò)中提取規(guī)則

最后，一些專(zhuān)門(mén)的網(wǎng)絡(luò)，例如ANFIS [8]和RBF網(wǎng)絡(luò)[9]，直接對(duì)應(yīng)于模糊規(guī)則系統(tǒng)。例如，RBF網(wǎng)絡(luò)等效于Takagi-Sugeno規(guī)則系統(tǒng)[10]。論文[11]中將網(wǎng)絡(luò)中的每個(gè)神經(jīng)元視為一個(gè)廣義模糊邏輯門(mén)。在這種觀點(diǎn)下，神經(jīng)網(wǎng)絡(luò)不過(guò)是一個(gè)深層的模糊邏輯系統(tǒng)。具體來(lái)說(shuō)，他們分析了一種稱(chēng)為二次網(wǎng)絡(luò)的新型神經(jīng)網(wǎng)絡(luò)，其中所有神經(jīng)元都是用二次運(yùn)算代替內(nèi)積的二次神經(jīng)元[12]。他們用廣義化的模糊邏輯來(lái)解釋二次神經(jīng)元。

第二類(lèi)方法稱(chēng)為知識(shí)蒸餾[13]，如圖8所示。盡管知識(shí)蒸餾技術(shù)主要用于模型壓縮，但其原理也可以用于可解釋性。知識(shí)蒸餾的核心思想是，復(fù)雜的模型可以生成相對(duì)準(zhǔn)確的預(yù)測(cè)，將概率分配給所有可能的類(lèi)別（稱(chēng)為軟標(biāo)簽），這些類(lèi)別可以比one-hot標(biāo)簽提供更多信息。例如，一匹馬更有可能被歸類(lèi)為狗而不是山。但是，使用one-hot標(biāo)簽，狗類(lèi)和山類(lèi)的概率都為零。[13]表明原始大模型的泛化能力可以轉(zhuǎn)移到一個(gè)更簡(jiǎn)單的模型中。沿著這個(gè)方向，我們可以用知識(shí)蒸餾的方法開(kāi)發(fā)可解釋的代理模型，例如決策樹(shù)[14-15]，決策集[16]，全局加性模型[17]和更簡(jiǎn)單的網(wǎng)絡(luò)[18]。例如，S.Tan等[17]使用軟標(biāo)簽訓(xùn)練形式為：

的全局加性模型，其中{h_i }_(i≥1)可直接用作特征顯著性。

圖 8. 由原始模型產(chǎn)生軟標(biāo)簽，軟標(biāo)簽比one-hot標(biāo)簽更有信息量

最后一類(lèi)是構(gòu)造一個(gè)local的模型作為代理。local解釋器方法局部地模擬神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)行為?；驹硎?，當(dāng)從全局來(lái)看一個(gè)神經(jīng)網(wǎng)絡(luò)時(shí)，它看起來(lái)很復(fù)雜。但是如果局部的看一個(gè)神經(jīng)網(wǎng)絡(luò)的話就會(huì)簡(jiǎn)單。Local解釋器的代表性方法是LIME[19]，它通過(guò)將某些樣本元素隨機(jī)設(shè)置為零來(lái)合成許多鄰居然后計(jì)算這些鄰居相應(yīng)的輸出。最后，使用線性回歸器來(lái)擬合這些實(shí)例的輸入輸出關(guān)系。這個(gè)線性回歸器可以在局部模仿神經(jīng)網(wǎng)絡(luò)。線性模型的系數(shù)表示特征的貢獻(xiàn)。如圖9所示，LIME方法應(yīng)用于乳腺癌分類(lèi)模型，以識(shí)別哪些屬性對(duì)模型的良性或惡性預(yù)測(cè)有貢獻(xiàn)。

圖9. 使用LIME來(lái)解釋一個(gè)乳腺癌分類(lèi)模型

后續(xù)有方法來(lái)改進(jìn)LIME。Y.Zhang等 [20]指出了LIME解釋中缺乏魯棒性的原因，這源于采樣方差，對(duì)參數(shù)選擇的敏感性以及不同數(shù)據(jù)點(diǎn)之間的變化。Anchor[21]是LIME的改進(jìn)擴(kuò)展，它可以找到輸入中最重要的部分，那么其余部分的變化就無(wú)關(guān)緊要，然后就可以只根據(jù)重要部分來(lái)生成鄰居。數(shù)學(xué)上，Anchor搜索一個(gè)集合：A = {z | f（z）= f（x），z∈x}，其中f（?）是模型，x是輸入，z是x的子集。另一項(xiàng)建議是基于[22]的基于局部規(guī)則的解釋?zhuān)↙ORE）。LORE利用遺傳算法來(lái)平衡的生成鄰居而不是隨機(jī)的生成鄰居，從而產(chǎn)生減輕LIME的采樣方差。

5. 先進(jìn)數(shù)理

Y. Lu等[1]表明，許多殘差網(wǎng)絡(luò)可以解釋為常微分方程的離散數(shù)值解，即ResNet [2]中殘差塊的內(nèi)部工作可以建模為u_(n+1)=u_n+f(u_n ), 其中u_n是第n個(gè)塊的輸出，而f（u_n）是對(duì)于u_n的操作。注意，u_(n+1)=u_n+f(u_n )是常微分方程du/dt=f(u)的單步有限差分近似。[1]這個(gè)想法啟發(fā)了ODE-Net [3]的發(fā)明。如圖10所示，通過(guò)ODE-Net調(diào)整起點(diǎn)和動(dòng)力學(xué)以擬合螺旋。

圖 10. ODE-Net 優(yōu)化起點(diǎn)和微分方程去擬合螺旋曲線

N. Lei等[4]在Wasserstein生成對(duì)抗網(wǎng)絡(luò)（WGAN [5]）和最佳運(yùn)輸理論之間建立了一種漂亮的聯(lián)系。他們得出結(jié)論，在低維假設(shè)和特殊設(shè)計(jì)的距離函數(shù)的情況下，生成器和鑒別器可以精確地用閉式解彼此表示。因此，在WGAN中進(jìn)行鑒別器和生成器之間的競(jìng)爭(zhēng)不是必要的。

[6]刻畫(huà)了神經(jīng)網(wǎng)絡(luò)中間層和網(wǎng)絡(luò)輸出之間互信息的大小關(guān)系。越深的層與輸出之間互信息越少：

其中I(?;?)表示互信息，h_i,h_j是隱藏層的輸出（i> j表示第i層更深），而Y ?是最終預(yù)測(cè)。此外，S. Yu和J. C. Principe [7]使用信息瓶頸理論來(lái)衡量自編碼器中對(duì)稱(chēng)層的互信息大小關(guān)系，如圖11所示。

然而，估計(jì)互信息比較困難，因?yàn)槲覀兺ǔ２恢罃?shù)據(jù)的先驗(yàn)概率分布。

圖 11: 自編碼器對(duì)稱(chēng)層的互信息

S.Kolouri等[8]使用廣義Radon變換建立了神經(jīng)網(wǎng)絡(luò)的整體幾何解釋。令X為輸入的隨機(jī)變量，其符合分布p_X，則我們可以得出參數(shù)為θ的神經(jīng)網(wǎng)絡(luò)f_θ (X)的輸出的概率分布函數(shù)：

是廣義Radon變換，超曲面為：

在這個(gè)框架下，神經(jīng)網(wǎng)絡(luò)的變換的特征在于扭曲超表面重新塑造輸出的概率分布。H. Huang [9]使用平均場(chǎng)理論來(lái)描述深度網(wǎng)絡(luò)的降維機(jī)制，該網(wǎng)絡(luò)假定每一層的權(quán)重和數(shù)據(jù)服從高斯分布。在他的研究中，將第l層輸出的自協(xié)方差矩陣計(jì)算為C^l，然后將固有維數(shù)定義為：

其中λ_i是C^l的特征值，N是特征值的數(shù)目。這樣，我們可以用D / N來(lái)分析神經(jīng)網(wǎng)絡(luò)中每一層學(xué)到的表示是否緊湊。J.C. Ye等 [10]利用低秩Hankel矩陣解釋卷積自編碼器中卷積和廣義池化操作。但是，在他們的研究中，他們簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)，將兩個(gè)ReLU單元串聯(lián)為一個(gè)線性單元，從而避免ReLU單元的非線性。

理論神經(jīng)網(wǎng)絡(luò)研究對(duì)于可解釋性也是必不可少的。當(dāng)前，深度學(xué)習(xí)的理論基礎(chǔ)主要來(lái)自三個(gè)方面：表達(dá)能力，優(yōu)化和泛化。

    表達(dá)能力：讓我們?cè)谶@里舉兩個(gè)例子。第一個(gè)例子是解釋為什么深層網(wǎng)絡(luò)優(yōu)于淺層網(wǎng)絡(luò)。受到深層網(wǎng)絡(luò)成功的啟發(fā)，L.Szymanski和B. McCane [11]，D.Rolnick和M. Tegmark [12]，N.Cohen等。[13]，H.N. Mhaskar和T. Poggio [14]，R。Eldan和O. Shamir [15]，以及S. Liang和R. Srikant [16]證明深層網(wǎng)絡(luò)比淺層網(wǎng)絡(luò)更具表現(xiàn)力。基本思想是構(gòu)造一類(lèi)特殊的函數(shù)，這些函數(shù)可以有效地由深層網(wǎng)絡(luò)來(lái)表示，而很難由淺層網(wǎng)絡(luò)來(lái)近似。第二個(gè)示例是了解深度網(wǎng)絡(luò)的shortcut連接為什么可以表現(xiàn)好。A. Veit等[17]表明，ResNet的shortcut連接可以使ResNet表現(xiàn)出類(lèi)似于集成學(xué)習(xí)的行為。沿著這個(gè)方向，[18]證明，有了shortcut連接，窄的神經(jīng)網(wǎng)絡(luò)就可以進(jìn)行通用逼近。

    優(yōu)化：深度網(wǎng)絡(luò)的優(yōu)化是非凸優(yōu)化問(wèn)題。我們特別感興趣的是為什么過(guò)度參數(shù)化的網(wǎng)絡(luò)仍然可以很好地進(jìn)行優(yōu)化，因?yàn)樯疃染W(wǎng)絡(luò)是一種過(guò)度參數(shù)化的網(wǎng)絡(luò)。過(guò)度參數(shù)化網(wǎng)絡(luò)指的是網(wǎng)絡(luò)中的參數(shù)數(shù)量超過(guò)了數(shù)據(jù)的數(shù)量。M.Soltanolkotabi等 [21]表明，當(dāng)數(shù)據(jù)是高斯分布并且神經(jīng)元的激活函數(shù)是二次函數(shù)時(shí)，超參數(shù)化的單層網(wǎng)絡(luò)允許有效地搜索全局最優(yōu)值。Q. Nguyen和M. Hein [22]證明，對(duì)于線性可分離數(shù)據(jù)，在前饋神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣rank的限制下，損失函數(shù)的每個(gè)導(dǎo)數(shù)為零的點(diǎn)都是全局最小值。此外，A.Jacot等人[23]表明，當(dāng)神經(jīng)網(wǎng)絡(luò)的每一層中的神經(jīng)元數(shù)量變得無(wú)限大時(shí)，訓(xùn)練只會(huì)使網(wǎng)絡(luò)函數(shù)發(fā)生很小的變化。結(jié)果，網(wǎng)絡(luò)的訓(xùn)練變成了kernel ridge regression。

    泛化：傳統(tǒng)的泛化理論無(wú)法解釋為何深度網(wǎng)絡(luò)有如此多的參數(shù)，仍然可以很好地泛化。最近提出的依賴于權(quán)重矩陣范數(shù)的泛化界[24]部分解決了這個(gè)問(wèn)題，即泛化界不是依賴于網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)而是每一層矩陣的矩陣范數(shù)大小。但是，目前導(dǎo)出的泛化界也有很大問(wèn)題：比如數(shù)據(jù)越多泛化界越大，這顯然與常識(shí)相矛盾。NeurIPS2019年新風(fēng)向獎(jiǎng)也給予了這方面的研究。顯然，我們需要更多的努力才能理解神經(jīng)網(wǎng)絡(luò)的泛化難題[25]，[26]。

6. 案例解釋

案例解釋是提供一個(gè)案例，該案例被神經(jīng)網(wǎng)絡(luò)認(rèn)為與需要解釋的例子最相似。找到一個(gè)相似的案例進(jìn)行解釋和從數(shù)據(jù)中選擇一個(gè)具有代表性的案例作為原型[1]基本上是同一件事，只是使用不同的度量來(lái)度量相似性。原型選擇是尋找可以代表整個(gè)數(shù)據(jù)集的最小實(shí)例子集，案例解釋基于神經(jīng)網(wǎng)絡(luò)表示的接近性作為相似性度量，從而可能暴露出神經(jīng)網(wǎng)絡(luò)的隱藏表示信息。因此，案例解釋也與深度度量學(xué)習(xí)有關(guān)[2]。

如圖12所示，E.Wallace等[3]采用k近鄰算法來(lái)獲取特征空間中查詢案例的最相似案例，然后計(jì)算屬于預(yù)期類(lèi)別的最近鄰居的百分比作為可解釋性的度量，表明預(yù)測(cè)量有多少數(shù)據(jù)支持。C.Chen等[4]構(gòu)建了一個(gè)可以通過(guò)發(fā)現(xiàn)原型的一部分來(lái)解剖圖像的模型。具體來(lái)說(shuō)，模型的pipeline在卷積層之后分為多個(gè)通道，其中每個(gè)通道的功能都可以學(xué)習(xí)輸入的原型部分，例如鳥(niǎo)類(lèi)的頭部或身體。基于通道所表示的原型部分特征的相似性來(lái)確定相似實(shí)例。

圖 12. 案例解釋提供在神經(jīng)網(wǎng)絡(luò)看來(lái)與輸入案例最近的鄰居來(lái)暴露神經(jīng)網(wǎng)絡(luò)的信息

S.Wachter等[5]提供一個(gè)反事實(shí)案例，這是一種新穎的基于案例的解釋方法。反事實(shí)案例是一種假想的案例，它在神經(jīng)網(wǎng)絡(luò)的表示中接近查詢案例，但與查詢案例的輸出略有不同。反事實(shí)案例解釋提供了所謂的“最可能的另一種情況”或最小的變化以產(chǎn)生不同的結(jié)果。例如，反事實(shí)的解釋可能會(huì)產(chǎn)生以下說(shuō)法：“如果您有出色的前鋒，您的球隊(duì)將贏得這場(chǎng)足球比賽。”巧合的是，產(chǎn)生反事實(shí)解釋的技術(shù)本質(zhì)上就是產(chǎn)生“對(duì)抗性擾動(dòng)”[6]。本質(zhì)上，找到與輸入x最接近的可能情況x'等效于找到對(duì)x的最小擾動(dòng)，從而使分類(lèi)結(jié)果發(fā)生變化。例如，可以構(gòu)建以下優(yōu)化：

其中λ是一個(gè)常數(shù)，y^'是一個(gè)不同的標(biāo)號(hào)，并且選擇d（?，?）作為曼哈頓距離，以希望輸入受到的干擾最小。Y. Goyal等 [7]探索了一種替代方法來(lái)導(dǎo)出反事實(shí)案例。給定帶有標(biāo)簽c的圖像I，由于反事實(shí)的視覺(jué)解釋代表輸入的變化，可以迫使模型產(chǎn)生不同的預(yù)測(cè)類(lèi)別c'，因此他們選擇了帶有標(biāo)簽c'的圖像I'，并設(shè)法識(shí)別出I和I'中的空間區(qū)域，當(dāng)互換識(shí)別區(qū)域時(shí)會(huì)將模型預(yù)測(cè)從c更改為c'。

7. 文本解釋

神經(jīng)圖像字幕使用神經(jīng)網(wǎng)絡(luò)為圖像生成自然語(yǔ)言描述。盡管神經(jīng)圖像字幕最初并不是為了網(wǎng)絡(luò)的可解釋性，但是有關(guān)圖像的描述性語(yǔ)言可以告訴我們神經(jīng)網(wǎng)絡(luò)是如何分析圖像的。代表性的方法來(lái)自[1]該方法結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和雙向遞歸神經(jīng)網(wǎng)絡(luò)以獲得雙模態(tài)嵌入。[1]的方法基于這樣的假設(shè)：在兩個(gè)模態(tài)中表示相似語(yǔ)義的兩個(gè)嵌入應(yīng)該共享兩個(gè)空間的附近位置，因此將目標(biāo)函數(shù)定義為：

其中v_i是圖像集合g_I中的第i ^個(gè)圖像片段，而s_t是句子g_T中的第t個(gè)單詞。這樣的模型可以告訴我們網(wǎng)絡(luò)的特征對(duì)應(yīng)于什么樣的文本。另一個(gè)有代表性的方法是注意力機(jī)制[2-5]。文本和注意力圖中的對(duì)應(yīng)詞提供了對(duì)深層特征的解釋?zhuān)从沉藞D像的哪些部分吸引了神經(jīng)網(wǎng)絡(luò)的注意力。但是S.Jain和BC Wallace [6]認(rèn)為注意力圖不適合作為解釋?zhuān)驗(yàn)樗麄冇^察到注意力圖與基于梯度的熱圖不相關(guān)。

圖 13. 含有注意力機(jī)制的圖像標(biāo)注模塊借助文本提供了網(wǎng)絡(luò)的一個(gè)解釋

1. 可解釋表示

傳統(tǒng)上，深度學(xué)習(xí)的正則化技術(shù)主要是為了避免過(guò)度擬合而設(shè)計(jì)的。然而，從分解性[1]，[2]， [3]，單調(diào)性[4]，非負(fù)性[5]，稀疏性[6], 包括human-in-the-loop的先驗(yàn)[7] 方面設(shè)計(jì)正則化技術(shù)來(lái)增強(qiáng)可解釋的表示也是可行的。

例如，X. Chen等[1]發(fā)明了InfoGAN，它可以促使GAN產(chǎn)生可解釋性的表示。傳統(tǒng)上，生成對(duì)抗網(wǎng)絡(luò)（GAN）對(duì)發(fā)生器如何利用噪聲沒(méi)有施加任何限制。而InfoGAN最大化了潛在代碼和觀測(cè)值之間的相互信息，從而迫使噪聲的每個(gè)維度對(duì)語(yǔ)義概念進(jìn)行編碼，這樣我們就知道每個(gè)噪聲維度所代表的意義。特別地，噪聲由離散的分類(lèi)代碼和連續(xù)的樣式代碼組成。如圖14所示，兩個(gè)樣式代碼分別控制數(shù)字的局部部分和數(shù)字旋轉(zhuǎn)。

圖 14. 在 InfoGAN中，噪聲編碼數(shù)字的局部部分和旋轉(zhuǎn)部分

納入單調(diào)性約束[4]對(duì)于增強(qiáng)可解釋性也是有用的。單調(diào)關(guān)系意味著當(dāng)指定屬性的值增加時(shí)，模型的預(yù)測(cè)值將單調(diào)增加或減少，這種簡(jiǎn)單的關(guān)系促進(jìn)了可解釋性。J. Chorowski和J. M. Zurada [5]對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)重施加非負(fù)性，并認(rèn)為它可以改善可解釋性，因?yàn)樗松窠?jīng)元之間的抵消和混疊效應(yīng)。A. Subramanian等[6]采用k稀疏自動(dòng)編碼器進(jìn)行詞嵌入，以提高嵌入的稀疏性，并也聲稱(chēng)這樣可以增強(qiáng)可解釋性是因?yàn)橄∈枨度霚p少了詞之間的重疊。Lage等 [7]提出了一種新穎的human-in-the-loop的正則化。具體來(lái)說(shuō)，他們訓(xùn)練了多種模型并將其發(fā)送給用戶進(jìn)行評(píng)估。要求用戶預(yù)測(cè)某個(gè)模型將為數(shù)據(jù)點(diǎn)分配什么標(biāo)簽。響應(yīng)時(shí)間越短，表示用戶對(duì)模型的理解就越好。然后，選擇響應(yīng)時(shí)間最短的模型。

2. 模型修繕

L.Chu等 [1]提出使用分段線性函數(shù)作為神經(jīng)網(wǎng)絡(luò)（PLNN）的激活函數(shù)（也包括ReLU），PLNN有十分明確的決策邊界，并且我們可以導(dǎo)出封閉形式的解來(lái)求解網(wǎng)絡(luò)的決策邊界。如圖15所示，F(xiàn).Fan等[2] 提出了軟自動(dòng)編碼器（Soft-AE），軟自編碼器在編碼層中使用自適應(yīng)的軟閾值單元和在解碼層中使用線性單元。因此，軟自編碼器可以解釋為一個(gè)可學(xué)習(xí)的級(jí)聯(lián)小波自適應(yīng)系統(tǒng)。

圖 15.軟自編碼器在編碼層中使用自適應(yīng)的軟閾值單元和在解碼層中使用線性單元。因此，軟自編碼器可以解釋為一個(gè)可學(xué)習(xí)的級(jí)聯(lián)小波自適應(yīng)系統(tǒng)

L. Fan [3]通過(guò)修改偏差項(xiàng)將神經(jīng)網(wǎng)絡(luò)解釋為廣義漢明（Hamming）網(wǎng)絡(luò)，其神經(jīng)元計(jì)算廣義漢明距離：

這里輸入是x=(x_1,…,x_L)和權(quán)重向量w=(w_1,…,w_L). 如果我們將每個(gè)神經(jīng)元中的偏差項(xiàng)指定為 ：

每個(gè)神經(jīng)元是廣義漢明神經(jīng)元。在這種觀點(diǎn)下，batch-normalization的功能就可以解釋了：batch-normalization就是為了讓偏差來(lái)配湊出廣義漢明距離。C.C.J.Kuo等人[4]提出了一種透明的設(shè)計(jì)，用于構(gòu)造前饋卷積網(wǎng)絡(luò)，而無(wú)需反向傳播。具體來(lái)說(shuō)，通過(guò)為早期池化層的輸出選擇PCA的主成分來(lái)構(gòu)建卷積層中的濾波器。然后用線性平方回歸器來(lái)構(gòu)建全連接層。

DA Melis和T. Jaakkola [5]認(rèn)為，如果神經(jīng)網(wǎng)絡(luò)模型f具有以下形式，則它是可解釋的：

其中h_i（x）是輸入x的原型特征，而θ_i（x）是與該概念相關(guān)的重要性，g是單調(diào)的并且完全可加分離。這樣的模型可以學(xué)習(xí)可解釋的基礎(chǔ)概念并且方便進(jìn)行顯著性分析。類(lèi)似地，J.Vaughan等[6]設(shè)計(jì)了一種網(wǎng)絡(luò)結(jié)構(gòu)，這種結(jié)構(gòu)對(duì)應(yīng)的輸出函數(shù)是：

的函數(shù)，其中β_k是投影，h_k（?）表示非線性變換，μ是偏差，而γ_k是加權(quán)因子。這樣的模型比一般的網(wǎng)絡(luò)更具解釋性，因?yàn)樵撃Ｐ偷墓δ芫哂懈?jiǎn)單的偏導(dǎo)數(shù)，可以簡(jiǎn)化顯著性分析，統(tǒng)計(jì)分析等。

C. Li等[7]提出了通過(guò)在中間層的特征上使用層級(jí)標(biāo)簽，比如“人→中國(guó)人→安徽人”來(lái)進(jìn)行深度監(jiān)督。具體來(lái)說(shuō)，我們有一個(gè)數(shù)據(jù)集{（x，y_1，…，y_m）}，其中標(biāo)簽y_1，…，y_m是分層的。我們使用分層標(biāo)簽去監(jiān)督深度網(wǎng)絡(luò)的層，然后網(wǎng)絡(luò)里的層就會(huì)依次學(xué)到對(duì)應(yīng)的標(biāo)簽的特征。然后我們可以從top-level上感知到層的功能。這種方案引入了模塊化的思想，從而獲得可解釋性。

T. Wang [8]建議對(duì)那些只要簡(jiǎn)單模型就可以分類(lèi)的數(shù)據(jù)使用可解釋和可插入的替代模型。在他們的工作中，將規(guī)則集構(gòu)建為可解釋的模型，以便首先對(duì)輸入數(shù)據(jù)進(jìn)行分類(lèi)。那些規(guī)則集難以分類(lèi)的輸入將傳遞到黑盒模型中進(jìn)行決策。這種混合預(yù)測(cè)系統(tǒng)的邏輯是，在不影響準(zhǔn)確性的情況下，可以為常規(guī)案件提供可解釋的模型，為復(fù)雜案件提供復(fù)雜的黑匣子模型。

C. Jiang等[9]提出了有限自動(dòng)機(jī)遞歸神經(jīng)網(wǎng)絡(luò)（FA-RNN），可以將其FA-RNN直接轉(zhuǎn)換為正則表達(dá)式，從而獲得解釋力。具體來(lái)說(shuō)，可以將構(gòu)造的FA-RNN近似為有限自動(dòng)機(jī)，然后將其轉(zhuǎn)換為正則表達(dá)式，因?yàn)橛邢拮詣?dòng)機(jī)和正則表達(dá)式可以相互轉(zhuǎn)換。以此類(lèi)推，正則表達(dá)式也可以解碼為FA-RNN作為初始化。FA-RNN是體現(xiàn)規(guī)則系統(tǒng)和神經(jīng)網(wǎng)絡(luò)之間協(xié)同作用的一個(gè)很好的例子。

1. 深度學(xué)習(xí)與規(guī)則系統(tǒng)

模糊邏輯[1]在上個(gè)世紀(jì)九十年代中非?；?。它將布爾邏輯從0-1判斷擴(kuò)展到可以取[0，1]中的任何值的推斷。模糊理論可以分為兩個(gè)分支：模糊集理論和模糊邏輯理論。后者以“ IF-THEN”規(guī)則為重點(diǎn)，并以IF-THEN規(guī)則的形式表示一個(gè)系統(tǒng)，在處理大量復(fù)雜的系統(tǒng)建模和控制問(wèn)題方面顯示出了有效性。然而，基于模糊規(guī)則的系統(tǒng)也受到很大限制，構(gòu)建模糊規(guī)則的過(guò)程繁瑣且計(jì)算量大。神經(jīng)網(wǎng)絡(luò)是一種數(shù)據(jù)驅(qū)動(dòng)的方法，它通過(guò)訓(xùn)練從數(shù)據(jù)中提取知識(shí)，但是神經(jīng)網(wǎng)絡(luò)所表示的知識(shí)是分布在每個(gè)神經(jīng)元中的。在數(shù)據(jù)量較小的情況下，神經(jīng)網(wǎng)絡(luò)無(wú)法提供令人滿意的結(jié)果，并且缺乏可解釋性。神經(jīng)網(wǎng)絡(luò)和模糊邏輯系統(tǒng)是互補(bǔ)的。因此，將兩個(gè)世界的優(yōu)點(diǎn)結(jié)合起來(lái)對(duì)于增強(qiáng)可解釋性有幫助。實(shí)際上，這個(gè)路線圖并不是全新的。沿著這個(gè)方向有幾種可能的模型：ANFIS模型[2]，通用模糊感知器[3]，RBF網(wǎng)絡(luò)[4]等。

我們可以建立一個(gè)深層的RBF網(wǎng)絡(luò)。給定輸入向量x = [x_1，x_2，…，x_n]，RBF網(wǎng)絡(luò)表示為：

其中?_i（x-c_i）為通常選擇為：

其中c_i是第i個(gè)神經(jīng)元的簇中心。[4]證明了在溫和條件下RBF網(wǎng)絡(luò)與模糊推理系統(tǒng)之間的功能等效性。同樣，RBF網(wǎng)絡(luò)可以作為通用逼近器[5]。因此，RBF網(wǎng)絡(luò)是一種潛在的可靠的載體，自帶規(guī)則而不會(huì)損失準(zhǔn)確性。而且與多層感知器相比，自適應(yīng)RBF網(wǎng)絡(luò)中的規(guī)則生成和模糊規(guī)則表示更為簡(jiǎn)單。盡管當(dāng)前的RBF網(wǎng)絡(luò)只是具有一層隱藏的結(jié)構(gòu)，但開(kāi)發(fā)深層的RBF網(wǎng)絡(luò)是可行的，可以將深層RBF視為深層的模糊規(guī)則系統(tǒng)。貪婪訓(xùn)練算法[6]成功地解決了深度網(wǎng)絡(luò)的訓(xùn)練問(wèn)題?？梢詫⑦@種成功應(yīng)用在深度RBF網(wǎng)絡(luò)的訓(xùn)練。然后，使用深度RBF網(wǎng)絡(luò)與深度模糊邏輯系統(tǒng)之間的對(duì)應(yīng)關(guān)系來(lái)獲得深度模糊規(guī)則系統(tǒng)。

2. 深度學(xué)習(xí)與腦科學(xué)

迄今為止，真正的復(fù)雜智能系統(tǒng)仍然只有人類(lèi)大腦。早期形式的人工神經(jīng)網(wǎng)絡(luò)顯然受到了生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)[1]。然而，神經(jīng)網(wǎng)絡(luò)的后續(xù)發(fā)展卻基本不是由神經(jīng)科學(xué)的觀點(diǎn)來(lái)推動(dòng)的。就可解釋性而言，由于生物和人工神經(jīng)網(wǎng)絡(luò)之間有著深厚的聯(lián)系，神經(jīng)科學(xué)的進(jìn)步與深度學(xué)習(xí)技術(shù)的發(fā)展和解釋有密切的關(guān)系。我們認(rèn)為，神經(jīng)科學(xué)在以下幾個(gè)方面將為深度學(xué)習(xí)解釋性帶來(lái)廣闊的前景。

損失函數(shù)：有效的損失函數(shù)是過(guò)去幾年中深度網(wǎng)絡(luò)發(fā)展的重要?jiǎng)恿?；例如，GAN中使用的對(duì)抗性損失[2]。在之前的技術(shù)部分中，我們重點(diǎn)介紹了一些損失函數(shù)的案例，這些案例表明適當(dāng)?shù)膿p失函數(shù)將使模型能夠?qū)W習(xí)可解釋的表示形式，例如增強(qiáng)特征可分離性。我們的大腦是一個(gè)最好的優(yōu)化機(jī)器[3]，該機(jī)器具有強(qiáng)大而準(zhǔn)去的權(quán)重分配機(jī)制。通過(guò)研究大腦，可以幫助我們建立生物學(xué)上合理的損失函數(shù)。

優(yōu)化算法：盡管反向傳播取得了巨大的成功，但從神經(jīng)科學(xué)的角度來(lái)看，它遠(yuǎn)非理想。實(shí)際上，從許多方面講，反向傳播都無(wú)法表現(xiàn)出人類(lèi)神經(jīng)系統(tǒng)調(diào)節(jié)神經(jīng)元突觸的真實(shí)方式。例如，在生物神經(jīng)系統(tǒng)中，突觸以局部方式更新[4]，并且僅取決于突觸前和突觸后神經(jīng)元的活動(dòng)。但是，深度網(wǎng)絡(luò)中的連接是通過(guò)非本地反向傳播進(jìn)行調(diào)整的。另外，與人腦的內(nèi)部工作相比，深度網(wǎng)絡(luò)中缺少類(lèi)似神經(jīng)調(diào)節(jié)劑的機(jī)制：其中一個(gè)神經(jīng)元的狀態(tài)可以表現(xiàn)出受全局神經(jīng)調(diào)節(jié)劑（如多巴胺，5-羥色胺等）控制的不同輸入輸出模式[5] 。人們認(rèn)為神經(jīng)調(diào)節(jié)劑至關(guān)重要，因?yàn)樗鼈兡軌蜻x擇性地控制一種神經(jīng)元的開(kāi)和關(guān)狀態(tài)，從而等效地對(duì)神經(jīng)元實(shí)現(xiàn)了模塊化的控制 [6]?？紤]到現(xiàn)在很少有研究討論訓(xùn)練算法的可解釋性，因此我們非常需要功能強(qiáng)大且可解釋的訓(xùn)練算法。

生物合理的結(jié)構(gòu)設(shè)計(jì)：在過(guò)去的幾十年中，神經(jīng)網(wǎng)絡(luò)架構(gòu)發(fā)展從簡(jiǎn)單的前饋網(wǎng)絡(luò)到深度卷積網(wǎng)絡(luò)以及其他高度復(fù)雜的網(wǎng)絡(luò)。我們知道結(jié)構(gòu)確定功能，即，特定的網(wǎng)絡(luò)體系結(jié)構(gòu)調(diào)節(jié)具有不同特征的信息流。當(dāng)前，深度學(xué)習(xí)和生物大腦系統(tǒng)之間的結(jié)構(gòu)差異非常明顯。神經(jīng)網(wǎng)絡(luò)基于大數(shù)據(jù)來(lái)完成大多數(shù)任務(wù)，而生物大腦系統(tǒng)可以從少量數(shù)據(jù)中學(xué)習(xí)并得到很好的概括。我們需要借鑒生物神經(jīng)網(wǎng)絡(luò)，以便可以設(shè)計(jì)出更理想，更可解釋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。相關(guān)的研究已經(jīng)出現(xiàn)，比如MIT的研究者使用線蟲(chóng)的神經(jīng)系統(tǒng)（僅有幾十個(gè)神經(jīng)元）構(gòu)建了一個(gè)小型自動(dòng)駕駛控制器 [7]。