性欧美性爱豆花视频,大香蕉草逼综合网,久99久视频,91探花国产在线播放,麻豆操逼毛片视频,国产精品v欧美精品v日韩精品,亚洲四虎在线观看,波多野结衣一级婬片A片免费下载

點(diǎn)擊上方“程序員大白”，選擇“星標(biāo)”公眾號(hào)
重磅干貨，第一時(shí)間送達(dá)

作者：bindog 文僅交流，侵刪

地址：http://bindog.github.io/

篇一：CAM和Grad-CAM

00 背景

在當(dāng)前深度學(xué)習(xí)的領(lǐng)域，有一個(gè)非常不好的風(fēng)氣：一切以經(jīng)驗(yàn)論，好用就行，不問(wèn)為什么，很少深究問(wèn)題背后的深層次原因。從長(zhǎng)遠(yuǎn)來(lái)看，這樣做就埋下了隱患。舉個(gè)例子，在1980年左右的時(shí)候，美國(guó)五角大樓啟動(dòng)了一個(gè)項(xiàng)目：用神經(jīng)網(wǎng)絡(luò)模型來(lái)識(shí)別坦克(當(dāng)時(shí)還沒(méi)有深度學(xué)習(xí)的概念)，他們采集了100張隱藏在樹(shù)叢中的坦克照片，以及另100張僅有樹(shù)叢的照片。一組頂尖的研究人員訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)模型來(lái)識(shí)別這兩種不同的場(chǎng)景，這個(gè)神經(jīng)網(wǎng)絡(luò)模型效果拔群，在測(cè)試集上的準(zhǔn)確率盡然達(dá)到了100%！于是這幫研究人員很高興的把他們的研究成果帶到了某個(gè)學(xué)術(shù)會(huì)議上，會(huì)議上有個(gè)哥們提出了質(zhì)疑：你們的訓(xùn)練數(shù)據(jù)是怎么采集的？后來(lái)進(jìn)一步調(diào)查發(fā)現(xiàn)，原來(lái)那100張有坦克的照片都是在陰天拍攝的，而另100張沒(méi)有坦克的照片是在晴天拍攝的……也就是說(shuō)，五角大樓花了那么多的經(jīng)費(fèi)，最后就得到了一個(gè)用來(lái)區(qū)分陰天和晴天的分類(lèi)模型。

當(dāng)然這個(gè)故事應(yīng)該是虛構(gòu)的，不過(guò)它很形象的說(shuō)明了什么叫“數(shù)據(jù)泄露”，這在以前的Kaggle比賽中也曾經(jīng)出現(xiàn)過(guò)。大家不妨思考下，假如我們手里現(xiàn)在有一家醫(yī)院所有醫(yī)生和護(hù)士的照片，我們希望訓(xùn)練出一個(gè)圖片分類(lèi)模型，能夠準(zhǔn)確的區(qū)分出醫(yī)生和護(hù)士。當(dāng)模型訓(xùn)練完成之后，準(zhǔn)確率達(dá)到了99%，你認(rèn)為這個(gè)模型可靠不可靠呢？大家可以自己考慮下這個(gè)問(wèn)題。

好在學(xué)術(shù)界的一直有人關(guān)注著這個(gè)問(wèn)題，并引申出一個(gè)很重要的分支，就是模型的可解釋性問(wèn)題。那么本文從就從近幾年來(lái)的研究成果出發(fā)，談?wù)?strong>如何讓看似黑盒的CNN模型“說(shuō)話(huà)”，對(duì)它的分類(lèi)結(jié)果給出一個(gè)解釋。注意，本文所說(shuō)的“解釋”，與我們?nèi)粘Ｕf(shuō)的“解釋”內(nèi)涵不一樣：例如我們給孩子一張貓的圖片，讓他解釋為什么這是一只貓，孩子會(huì)說(shuō)因?yàn)樗屑舛洹⒑毜?。而我們讓CNN模型解釋為什么將這張圖片的分類(lèi)結(jié)果為貓，只是讓它標(biāo)出是通過(guò)圖片的哪些像素作出判斷的。（嚴(yán)格來(lái)說(shuō)，這樣不能說(shuō)明模型是否真正學(xué)到了我們?nèi)祟?lèi)所理解的“特征”，因?yàn)槟Ｐ退鶎W(xué)習(xí)到的特征本來(lái)就和人類(lèi)的認(rèn)知有很大區(qū)別。何況，即使只標(biāo)注出是通過(guò)哪些像素作出判斷就已經(jīng)有很高價(jià)值了，如果標(biāo)注出的像素集中在地面上，而模型的分類(lèi)結(jié)果是貓，顯然這個(gè)模型是有問(wèn)題的）

01 反卷積和導(dǎo)向反向傳播

關(guān)于CNN模型的可解釋問(wèn)題，很早就有人開(kāi)始研究了，姑且稱(chēng)之為CNN可視化吧。比較經(jīng)典的有兩個(gè)方法，反卷積(Deconvolution)和導(dǎo)向反向傳播(Guided-backpropagation)，通過(guò)它們，我們能夠一定程度上“看到”CNN模型中較深的卷積層所學(xué)習(xí)到的一些特征。當(dāng)然這兩個(gè)方法也衍生出了其他很多用途，以反卷積為例，它在圖像語(yǔ)義分割中有著非常重要的作用。（ps：目前網(wǎng)上有一些關(guān)于反卷積的文章，我感覺(jué)沒(méi)有說(shuō)的特別到位的，當(dāng)然也有可能是大家理解的角度不同，但是另外一些解讀那就是完全錯(cuò)誤的了，包括某乎。不得不說(shuō)，真正要深入理解反卷積還是要去啃論文，很多人嫌麻煩總是看些二手的資料，得到的認(rèn)識(shí)自然是有問(wèn)題的。當(dāng)然這些都是題外話(huà)，我也有寫(xiě)一篇關(guān)于反卷積的文章的計(jì)劃。看以后的時(shí)間安排）

從本質(zhì)上說(shuō)，反卷積和導(dǎo)向反向傳播的基礎(chǔ)都是反向傳播，其實(shí)說(shuō)白了就是對(duì)輸入進(jìn)行求導(dǎo)，三者唯一的區(qū)別在于反向傳播過(guò)程中經(jīng)過(guò)ReLU層時(shí)對(duì)梯度的不同處理策略。在這篇論文(https://arxiv.org/pdf/1412.6806.pdf)中有著非常詳細(xì)的說(shuō)明，如下圖所示：

雖然過(guò)程上的區(qū)別看起來(lái)沒(méi)有非常微小，但是在最終的效果上卻有很大差別。如下圖所示：

使用普通的反向傳播得到的圖像噪聲較多，基本看不出模型的學(xué)到了什么東西。使用反卷積可以大概看清楚貓和狗的輪廓，但是有大量噪聲在物體以外的位置上。導(dǎo)向反向傳播基本上沒(méi)有噪聲，特征很明顯的集中貓和狗的身體部位上。

雖然借助反卷積和導(dǎo)向反向傳播我們“看到”了CNN模型神秘的內(nèi)部，但是卻并不能拿來(lái)解釋分類(lèi)的結(jié)果，因?yàn)樗鼈儗?duì)類(lèi)別并不敏感，直接把所有能提取的特征都展示出來(lái)了。在剛才的圖片中，模型給出的分類(lèi)結(jié)果是貓，但是通過(guò)反卷積和導(dǎo)向反向傳播展示出來(lái)的結(jié)果卻同時(shí)包括了狗的輪廓。換句話(huà)說(shuō)，我們并不知道模型到底是通過(guò)哪塊區(qū)域判斷出當(dāng)前圖片是一只貓的。要解決這個(gè)問(wèn)題，我們必須考慮其他辦法。

02 CAM

大家在電視上應(yīng)該都看過(guò)熱成像儀生成的圖像，就像下面這張圖片。

圖像中動(dòng)物或人因?yàn)樯l(fā)出熱量，所以能夠清楚的被看到。接下來(lái)要介紹的CAM(Class Activation Mapping)產(chǎn)生的CAM圖與之類(lèi)似，當(dāng)我們需要模型解釋其分類(lèi)的原因時(shí)，它以熱力圖（Saliency Map，我不知道怎么翻譯最適合，叫熱力圖比較直觀一點(diǎn)）的形式展示它的決策依據(jù)，如同在黑夜中告訴我們哪有發(fā)熱的物體。

對(duì)一個(gè)深層的卷積神經(jīng)網(wǎng)絡(luò)而言，通過(guò)多次卷積和池化以后，它的最后一層卷積層包含了最豐富的空間和語(yǔ)義信息，再往下就是全連接層和softmax層了，其中所包含的信息都是人類(lèi)難以理解的，很難以可視化的方式展示出來(lái)。所以說(shuō)，要讓卷積神經(jīng)網(wǎng)絡(luò)的對(duì)其分類(lèi)結(jié)果給出一個(gè)合理解釋?zhuān)仨氁浞掷煤米詈笠粋€(gè)卷積層。

CAM借鑒了很著名的論文Network in Network(https://arxiv.org/abs/1312.4400)_中的思路，利用GAP(Global Average Pooling)替換掉了全連接層。可以把GAP視為一個(gè)特殊的average pool層，只不過(guò)其pool size和整個(gè)特征圖一樣大，其實(shí)說(shuō)白了就是求每張?zhí)卣鲌D所有像素的均值。

GAP的優(yōu)點(diǎn)在NIN的論文中說(shuō)的很明確了：由于沒(méi)有了全連接層，輸入就不用固定大小了，因此可支持任意大小的輸入；此外，引入GAP更充分的利用了空間信息，且沒(méi)有了全連接層的各種參數(shù)，魯棒性強(qiáng)，也不容易產(chǎn)生過(guò)擬合；還有很重要的一點(diǎn)是，在最后的 mlpconv層(也就是最后一層卷積層)強(qiáng)制生成了和目標(biāo)類(lèi)別數(shù)量一致的特征圖，經(jīng)過(guò)GAP以后再通過(guò)softmax層得到結(jié)果，這樣做就給每個(gè)特征圖賦予了很明確的意義，也就是categories confidence maps。如果你當(dāng)時(shí)不理解這個(gè)categories confidence maps是個(gè)什么東西，結(jié)合CAM應(yīng)該就能很快理解。

我們重點(diǎn)看下經(jīng)過(guò)GAP之后與輸出層的連接關(guān)系(暫不考慮softmax層)，實(shí)質(zhì)上也是就是個(gè)全連接層，只不過(guò)沒(méi)有了偏置項(xiàng)，如圖所示：

從圖中可以看到，經(jīng)過(guò)GAP之后，我們得到了最后一個(gè)卷積層每個(gè)特征圖的均值，通過(guò)加權(quán)和得到輸出(實(shí)際中是softmax層的輸入)。需要注意的是，對(duì)每一個(gè)類(lèi)別C，每個(gè)特征圖k的均值都有一個(gè)對(duì)應(yīng)的

w

記為

w_{k}^{c}

。CAM的基本結(jié)構(gòu)就是這樣了，下面就是和普通的CNN模型一樣訓(xùn)練就可以了。訓(xùn)練完成后才是重頭戲：我們?nèi)绾蔚玫揭粋€(gè)用于解釋分類(lèi)結(jié)果的熱力圖呢？其實(shí)非常簡(jiǎn)單，比如說(shuō)我們要解釋為什么分類(lèi)的結(jié)果是羊駝，我們把羊駝這個(gè)類(lèi)別對(duì)應(yīng)的所有

w_{k}^{c}

取出來(lái)，求出它們與自己對(duì)應(yīng)的特征圖的加權(quán)和即可。由于這個(gè)結(jié)果的大小和特征圖是一致的，我們需要對(duì)它進(jìn)行上采樣，疊加到原圖上去，如下所示。

這樣，CAM以熱力圖的形式告訴了我們，模型是重點(diǎn)通過(guò)哪些像素確定這個(gè)圖片是羊駝了。

03 Grad-CAM方法

前面看到CAM的解釋效果已經(jīng)很不錯(cuò)了，但是它有一個(gè)致使傷，就是它要求修改原模型的結(jié)構(gòu)，導(dǎo)致需要重新訓(xùn)練該模型，這大大限制了它的使用場(chǎng)景。如果模型已經(jīng)上線(xiàn)了，或著訓(xùn)練的成本非常高，我們幾乎是不可能為了它重新訓(xùn)練的。于是乎，Grad-CAM橫空出世，解決了這個(gè)問(wèn)題。

Grad-CAM的基本思路和CAM是一致的，也是通過(guò)得到每對(duì)特征圖對(duì)應(yīng)的權(quán)重，最后求一個(gè)加權(quán)和。但是它與CAM的主要區(qū)別在于求權(quán)重

w_{k}^{c}

的過(guò)程。CAM通過(guò)替換全連接層為GAP層，重新訓(xùn)練得到權(quán)重，而Grad-CAM另辟蹊徑，用梯度的全局平均來(lái)計(jì)算權(quán)重。事實(shí)上，經(jīng)過(guò)嚴(yán)格的數(shù)學(xué)推導(dǎo)，Grad-CAM與CAM計(jì)算出來(lái)的權(quán)重是等價(jià)的。為了和CAM的權(quán)重做區(qū)分，定義Grad-CAM中第k個(gè)特征圖對(duì)類(lèi)別c的權(quán)重為

a_{k}^{c}

，可通過(guò)下面的公式計(jì)算：

\alpha_{k}^{c}=\frac{1}{Z} \sum_{i} \sum_{j} \frac{\partial y^{c}}{\partial A_{i j}^{k}}

其中，Z為特征圖的像素個(gè)數(shù)，

y^{c}

是對(duì)應(yīng)類(lèi)別c的分?jǐn)?shù)（在代碼中一般用logits表示，是輸入softmax層之前的值），

A_{i j}^{k}

表示第k個(gè)特征圖中，(i,j)位置處的像素值。求得類(lèi)別對(duì)所有特征圖的權(quán)重后，求其加權(quán)和就可以得到熱力圖。

L_{G r a d-C A M}^{c}=\operatorname{Re} L U\left(\sum_{k} \alpha_{k}^{c} A^{k}\right)

Grad-CAM的整體結(jié)構(gòu)如下圖所示：

注意這里和CAM的另一個(gè)區(qū)別是，Grad-CAM對(duì)最終的加權(quán)和加了一個(gè)ReLU，加這么一層ReLU的原因在于我們只關(guān)心對(duì)類(lèi)別c有正影響的那些像素點(diǎn)，如果不加ReLU層，最終可能會(huì)帶入一些屬于其它類(lèi)別的像素，從而影響解釋的效果。使用Grad-CAM對(duì)分類(lèi)結(jié)果進(jìn)行解釋的效果如下圖所示：

除了直接生成熱力圖對(duì)分類(lèi)結(jié)果進(jìn)行解釋?zhuān)珿rad-CAM還可以與其他經(jīng)典的模型解釋方法如導(dǎo)向反向傳播相結(jié)合，得到更細(xì)致的解釋。

這樣就很好的解決了反卷積和導(dǎo)向反向傳播對(duì)類(lèi)別不敏感的問(wèn)題。當(dāng)然，Grad-CAM的神奇之處還不僅僅局限在對(duì)圖片分類(lèi)的解釋上，任何與圖像相關(guān)的深度學(xué)習(xí)任務(wù)，只要用到了CNN，就可以用Grad-CAM進(jìn)行解釋?zhuān)鐖D像描述(Image Captioning)，視覺(jué)問(wèn)答(Visual Question Answering)等，所需要做的只不過(guò)是把y^c換為對(duì)應(yīng)模型中的那個(gè)值即可。限于篇幅，本文就不展開(kāi)了，更多細(xì)節(jié)，強(qiáng)烈建議大家去讀讀論文(https://arxiv.org/abs/1610.02391)，包括Grad-CAM與CAM權(quán)重等價(jià)的證明也在論文中。如果你只是想在自己的模型中使用Grad-CAM，可以參考這個(gè)鏈接(https://github.com/Ankush96/grad-cam.tensorflow)，熟悉tensorflow的話(huà)實(shí)現(xiàn)起來(lái)真的非常簡(jiǎn)單，一看就明白。

04 擴(kuò)展

其實(shí)無(wú)論是CAM還是Grad-CAM，除了用來(lái)對(duì)模型的預(yù)測(cè)結(jié)果作解釋外，還有一個(gè)非常重要的功能：就是用于物體檢測(cè)。大家都知道現(xiàn)在物體檢測(cè)是一個(gè)非常熱門(mén)的方向，它要求在一張圖片中準(zhǔn)確的識(shí)別出多個(gè)物體，同時(shí)用方框?qū)⑵淇蚱饋?lái)。物體檢測(cè)對(duì)訓(xùn)練數(shù)據(jù)量的要求是非常高的，目前常被大家使用的有 PASCAL、COCO，如果需要更多數(shù)據(jù)，或者想要識(shí)別的物體在這些數(shù)據(jù)庫(kù)中沒(méi)有話(huà)，那就只能人工來(lái)進(jìn)行標(biāo)注了，工作量可想而知。

仔細(xì)想想我們不難發(fā)現(xiàn)，Grad-CAM在給出解釋的同時(shí)，不正好完成了標(biāo)注物體位置的工作嗎？雖然其標(biāo)注的位置不一定非常精確，也不一定完整覆蓋到物體的每一個(gè)像素。但只要有這樣一個(gè)大致的信息，我們就可以得到物體的位置，更具有誘惑力的是，我們不需要人工標(biāo)注的方框就可以做到了。

順便吐槽下當(dāng)前比較火的幾個(gè)物體檢測(cè)模型如Faster-RCNN、SSD等，無(wú)一例外都有一個(gè)Region Proposal階段，相當(dāng)于“胡亂”在圖片中畫(huà)各種大小的方框，然后再來(lái)判斷方框中是否有物體存在。雖然效果很好，但是根本就是違背人類(lèi)直覺(jué)的。相比之下，Grad-CAM這種定位方式似乎更符合人類(lèi)的直覺(jué)。當(dāng)然這些純屬我個(gè)人的瞎扯，業(yè)務(wù)場(chǎng)景中SSD還是非常好用的，肯定要比Grad-CAM這種弱監(jiān)督條件下的定位要強(qiáng)的多。

05 小結(jié)

試想如果當(dāng)時(shí)五角大樓的研究人員知道本文介紹的這些方法，并對(duì)他們的分類(lèi)結(jié)果用熱力圖進(jìn)行解釋?zhuān)嘈潘麄兡芎芸彀l(fā)現(xiàn)熱力圖的紅色區(qū)域主要集中在天空上，顯然說(shuō)明模型并沒(méi)有真正學(xué)到如何判別一輛坦克，最后也就不至于鬧笑話(huà)了。

回顧本文所介紹的這些方法，它們都有一個(gè)共同前提：即模型對(duì)我們來(lái)說(shuō)是白盒，我們清楚的知道模型內(nèi)部的所有細(xì)節(jié)，能夠獲取任何想要的數(shù)據(jù)，甚至可以修改它的結(jié)構(gòu)。但如果我們面對(duì)的是一個(gè)黑盒，對(duì)其內(nèi)部一無(wú)所知，只能提供一個(gè)輸入并得到相應(yīng)的輸出值（比如別人的某個(gè)模型部署在線(xiàn)上，我們只有使用它的權(quán)利），在這種情況下，我們?nèi)绾闻袛噙@個(gè)模型是否靠譜？能不能像Grad-CAM那樣對(duì)分類(lèi)結(jié)果給出一個(gè)解釋呢？歡迎關(guān)注篇二。

篇二：萬(wàn)金油LIME

00 背景

在篇一中，我們介紹了多種解釋CNN模型的分類(lèi)結(jié)果的方法，也提到了他們共同的局限性：當(dāng)模型對(duì)我們來(lái)說(shuō)完全為一個(gè)黑盒時(shí)就無(wú)能為力了。針對(duì)這個(gè)問(wèn)題，本文介紹另一套辦法，即使我們對(duì)模型一無(wú)所知也能夠?qū)λ男袨樽鞒鼋忉尅?/span>

01 LIME

LIME是KDD 2016上一篇非常漂亮的論文，思路簡(jiǎn)潔明了，適用性廣，理論上可以解釋任何分類(lèi)器給出的結(jié)果。其核心思想是：對(duì)一個(gè)復(fù)雜的分類(lèi)模型(黑盒)，在局部擬合出一個(gè)簡(jiǎn)單的可解釋模型，例如線(xiàn)性模型、決策樹(shù)等等。這樣說(shuō)比較籠統(tǒng)，我們從論文中的一張示例圖來(lái)解釋?zhuān)?/span>

如圖所示，紅色和藍(lán)色區(qū)域表示一個(gè)復(fù)雜的分類(lèi)模型（黑盒），圖中加粗的紅色十字表示需要解釋的樣本，顯然，我們很難從全局用一個(gè)可解釋的模型（例如線(xiàn)性模型）去逼近擬合它。但是，當(dāng)我們把關(guān)注點(diǎn)從全局放到局部時(shí)，可以看到在某些局部是可以用線(xiàn)性模型去擬合的。具體來(lái)說(shuō)，我們從加粗的紅色十字樣本周?chē)蓸?，所謂采樣就是對(duì)原始樣本的特征做一些擾動(dòng)，將采樣出的樣本用分類(lèi)模型分類(lèi)并得到結(jié)果（紅十字和藍(lán)色點(diǎn)），同時(shí)根據(jù)采樣樣本與加粗紅十字的距離賦予權(quán)重（權(quán)重以標(biāo)志的大小表示）。虛線(xiàn)表示通過(guò)這些采樣樣本學(xué)到的局部可解釋模型，在這個(gè)例子中就是一個(gè)簡(jiǎn)單的線(xiàn)性分類(lèi)器。在此基礎(chǔ)上，我們就可以依據(jù)這個(gè)局部的可解釋模型對(duì)這個(gè)分類(lèi)結(jié)果進(jìn)行解釋了。

一個(gè)看似復(fù)雜的模型通過(guò)我們巧妙的轉(zhuǎn)換，就能夠從局部上得到一個(gè)讓人類(lèi)理解的解釋模型，光這樣說(shuō)還是顯得有些空洞，具體來(lái)看看LIME在圖像識(shí)別上的應(yīng)用。我們希望LIME最好能生成和Grad-CAM一樣的熱力圖解釋。但是由于LIME不介入模型的內(nèi)部，需要不斷的擾動(dòng)樣本特征，這里所謂的樣本特征就是指圖片中一個(gè)一個(gè)的像素了。仔細(xì)一想就知道存在一個(gè)問(wèn)題，LIME采樣的特征空間太大的話(huà)，效率會(huì)非常低，而一張普通圖片的像素少說(shuō)也有上萬(wàn)個(gè)。若直接把每個(gè)像素視為一個(gè)特征，采樣的空間過(guò)于龐大，嚴(yán)重影響效率；如果少采樣一些，最終效果又會(huì)比較差。

所以針對(duì)圖像任務(wù)使用LIME時(shí)還需要一些特別的技巧，也就是考慮圖像的空間相關(guān)和連續(xù)的特性。不考慮一些極小特例的情況下，圖片中的物體一般都是由一個(gè)或幾個(gè)連續(xù)的像素塊構(gòu)成，所謂像素塊是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺(jué)意義的不規(guī)則像素塊，我們稱(chēng)之為超像素。相應(yīng)的，將圖片分割成一個(gè)個(gè)超像素的算法稱(chēng)為超像素分割算法，比較典型的有SLIC超像素分割算法還有quickshit等，這些算法在scikit-image庫(kù)中都已經(jīng)實(shí)現(xiàn)好了，quickshit分割后如圖所示：

從特征的角度考慮，實(shí)際上就不再以單個(gè)像素為特征，而是以超像素為特征，整個(gè)圖片的特征空間就小了很多，采樣的過(guò)程也變的簡(jiǎn)單了許多。更具體的說(shuō)，圖像上的采樣過(guò)程就是隨機(jī)保留一部分超像素，隱藏另一部分超像素，如下所示：

從圖中可以很直觀的看出這么做的意義：找出對(duì)分類(lèi)結(jié)果影響最大的幾個(gè)超像素，也就是說(shuō)模型僅通過(guò)這幾個(gè)像素塊就已經(jīng)能夠自信的做出預(yù)測(cè)。這里還涉及到一個(gè)特征選擇的問(wèn)題，畢竟我們不可能窮舉特征空間所有可能的樣本，所以需要在有限個(gè)樣本中找出那些關(guān)鍵的超像素塊。雖然這部分沒(méi)有在論文中過(guò)多提及，但在LIME的代碼實(shí)現(xiàn)中是一個(gè)重要部分，實(shí)現(xiàn)了前向搜索（forward selection）、Lasso和嶺回歸（ridge regression）等特征選擇方式，默認(rèn)當(dāng)特征數(shù)小于等于6時(shí)采用前向搜索，其他情況采用嶺回歸。

整體流程如圖所示：

和Grad-CAM一樣，LIME同樣可以對(duì)其他可能的分類(lèi)結(jié)果進(jìn)行解釋。

LIME除了能夠?qū)D像的分類(lèi)結(jié)果進(jìn)行解釋外，還可以應(yīng)用到自然語(yǔ)言處理的相關(guān)任務(wù)中，如主題分類(lèi)、詞性標(biāo)注等。因?yàn)長(zhǎng)IME本身的出發(fā)點(diǎn)就是模型無(wú)關(guān)的，具有廣泛的適用性。

雖然LIME方法雖然有著很強(qiáng)的通用性，效果也挺好，但是在速度上卻遠(yuǎn)遠(yuǎn)不如Grad-CAM那些方法來(lái)的快。當(dāng)然這也是可以理解的，畢竟LIME在采樣完成后，每張采樣出來(lái)的圖片都要通過(guò)原模型預(yù)測(cè)一次結(jié)果。

說(shuō)來(lái)也巧，在寫(xiě)這篇文章的時(shí)候，AAAI 2018的論文放出來(lái)了，其中有LIME作者的后續(xù)研究成果Anchors，順道去了解了一下。Anchors指的是復(fù)雜模型在局部所呈現(xiàn)出來(lái)的很強(qiáng)的規(guī)則性的規(guī)律，注意和LIME的區(qū)別，LIME是在局部建立一個(gè)可理解的線(xiàn)性可分模型，而Anchors的目的是建立一套更精細(xì)的規(guī)則系統(tǒng)。不過(guò)看過(guò)論文以后感覺(jué)更多是在和文本相關(guān)的任務(wù)上有不錯(cuò)的表現(xiàn)，在圖像相關(guān)的任務(wù)上并沒(méi)有什么特別另人耳目一新的東西，只是說(shuō)明了在Anchor（圖像中指若干個(gè)超像素）固定的情況下，其他像素?zé)o論替換為什么，現(xiàn)有的模型都會(huì)罔顧人類(lèi)常識(shí)，自信的做出錯(cuò)誤判斷。這部分內(nèi)容由于前幾年看多了Adversarial Samples，已經(jīng)見(jiàn)怪不怪了。

02 小結(jié)

實(shí)際上在模型可解釋性這塊還有其他很多相關(guān)研究，包括最近的AAAI 2018上也有幾篇這方面的文章，如Beyond Sparsity: Tree Regularization of Deep Models for Interpretability，這都在一定程度上說(shuō)明，業(yè)內(nèi)還是重視這個(gè)方向的。尤其在涉及到醫(yī)療、自動(dòng)駕駛等人命關(guān)天的應(yīng)用場(chǎng)合，可解釋性顯得尤為重要，最后也希望更多感興趣的同學(xué)加入到這個(gè)行列來(lái)~

參考資料

[1] “Why Should I Trust You?”: Explaining the Predictions of Any Classifier

https://arxiv.org/abs/1602.04938

[2] Introduction to Local Interpretable Model-Agnostic Explanations (LIME)

https://www.oreilly.com/content/introduction-to-local-interpretable-model-agnostic-explanations-lime/

本文目的在于學(xué)術(shù)交流，并不代表本公眾號(hào)贊同其觀點(diǎn)或?qū)ζ鋬?nèi)容真實(shí)性負(fù)責(zé)，版權(quán)歸原作者所有，如有侵權(quán)請(qǐng)告知?jiǎng)h除。

推薦閱讀
國(guó)產(chǎn)小眾瀏覽器因屏蔽視頻廣告，被索賠100萬(wàn)（后續(xù)）
年輕人“不講武德”：因看黃片上癮，把網(wǎng)站和786名女主播起訴了
中國(guó)聯(lián)通官網(wǎng)被發(fā)現(xiàn)含木馬腳本，可向用戶(hù)推廣色情APP
張一鳴：每個(gè)逆襲的年輕人，都具備的底層能力

關(guān)于程序員大白

程序員大白是一群哈工大，東北大學(xué)，西湖大學(xué)和上海交通大學(xué)的碩士博士運(yùn)營(yíng)維護(hù)的號(hào)，大家樂(lè)于分享高質(zhì)量文章，喜歡總結(jié)知識(shí)，歡迎關(guān)注[程序員大白]，大家一起學(xué)習(xí)進(jìn)步！

憑什么相信你，我的CNN模型？關(guān)于CNN模型可解釋性的思考

憑什么相信你，我的CNN模型？關(guān)于CNN模型可解釋性的思考