如今，神經網絡被廣泛應用于解決各種問題。然而，盡管它們具有有效性，但通常被認為是一種黑箱，能夠提供答案而無需解釋其決策，這引發(fā)了眾多倫理和法律問題。

幸運的是，可解釋性領域有助于用戶理解這些結果。

這一機器學習方面允許用戶了解模型的決策過程并驗證其結果的相關性。

在這篇文章中，作者關注的是一個名為“時間分布”的卷積RNN所執(zhí)行的學習過程，該過程用于從視頻數據中進行異常檢測。

1 Introduction

深度神經網絡在解決復雜問題，特別是在實時視頻異常檢測方面，發(fā)揮著關鍵作用。然而，它們的不可解釋性使得它們成為“黑箱”，難以理解，這不僅帶來了技術上的挑戰(zhàn)，也帶來了倫理和法律上的挑戰(zhàn)。這種不可解釋性在需要檢測敏感領域的異常情況時尤為突出，如斗毆、槍擊或車禍等。

在此背景下，歐盟在2019年5月實施了《通用數據保護條例》（GDPR），其中規(guī)定了在決策中使用算法的嚴格規(guī)定。GDPR第22-1條規(guī)定，如果自動化處理對個人具有重大影響，則不能僅依據自動化處理作出決定。這使得開發(fā)能夠解釋和幫助理解異常檢測模型所做出決定的解釋性技術變得尤為重要，特別是要確保其符合法律和倫理規(guī)范。

在本研究中，作者實現了一個卷積RNN模型來檢測視頻中的異常。作者將分析重點放在了關鍵安全行動上，如打斗或槍響。在解釋性方面，與作者RNN生成的特征相比，卷積網絡學習的特征更容易解釋，因為它們可以可視化，而RNN生成的特征則不行。在利用卷積網絡進行圖像處理的項目中，常見的方法是可視化模型提取的特征，以評估其學習的相關性。然而，視頻數據處理使得這種方法變得復雜?？紤]到視頻本質上是一個圖像序列，因此有理由質疑是否可以將同樣的可視化技術應用到包含“時間分布”卷積的模型中。在異常檢測的背景下，理解模型關注的區(qū)域至關重要，因此這個問題尤為重要。

為了應對這個問題，作者首先回顧了神經網絡中可用的主要可視化技術，尤其是在圖像和視頻分析的背景下。接下來，作者詳細介紹了作者采用的方法，將這些技術應用到作者的“時間分布式”卷積RNN模型中。最后，作者呈現了作者的結果，并討論了它們的含義，然后得出結論。

2 Related work

在2019年，Christoph Molnar 出版了一本書，題為《制作黑箱模型可解釋的指南》，該書強調了各種可解釋性和可視化技術[8]。一方面，一些技術如2016年8月9日由Marco Tulio Ribeiro，Sameer Singh和Carlos Guestrin提出的LIME（局部可解釋模型-不可知），或者2017年11月由Scott M. Lundberg和Su-In Lee提出的SHAP（SHapley 附加解釋）[7]與所使用的模型無關。另一方面，一些技術特定于某些模型，例如卷積網絡，其中可以找到可視化技術，如卷積濾波器[5]，顯著性圖[14, 15]，激活圖等。

許多庫存在以幫助用戶可視化這些特征。在2017年，Kotikalapud Raghavendra提出了keras-vis [6]，這是一個公開庫，允許用戶可視化每個層的卷積濾波器、在訓練過程中的演變以及激活圖。后來，在2020年，Philippe Remy開發(fā)了另一個庫，稱為kerat [11]，以執(zhí)行類似的處理。此外，在2020年，Gotkowski、Karol等人提出了另一個庫，允許用戶可視化2D和3D注意力圖 [4]。如今，由Francois Chollet在2015年開發(fā)的keras庫中也包括了一些這些可視化技術。

3 Approach

作者的模型是基于Keras庫開發(fā)的。在卷積部分，作者選擇了VGG19，而在順序部分，作者使用了GRU。為了給作者的數據增加時間維度，作者將VGG19封裝在一個“時間分布”層中。這個層的作用是對數據序列中的每個元素應用相同的處理——在作者的情況下，對每個圖像應用VGG19，以便在將信息傳遞給GRU進行順序分析之前，融合時間維度。作者的架構圖見圖1。

在本研究中，作者選擇關注諸如Grad-CAM、顯著性圖、特征圖和過濾器可視化的可解釋性技術。這些方法的使用使作者能夠更直接、立即地理解模型的內部機制，從而有助于結果的解釋。此外，通過避免外部依賴，作者確保了分析的一致性和可復制性。不幸的是，作者觀察到專門為卷積神經網絡（CNNs）設計的可視化庫并不適合作者這種架構。

首先，作者模型的問題出在結構上。在標準的網絡中，使用2D或3D卷積層時，這些層是直接連接在一起的。然而，在作者的架構中，卷積被封裝在一個“時間分布式”層中，這意味著這個層內存在一個子模型，如圖2所示。這個子模型是間接連接到其他層的，使得通過網絡傳遞信息和梯度變得更加復雜。

第二問題涉及添加時間維度。與處理圖像或3D目標的不同，作者的模型處理視頻。這意味著對于單個輸出可視化，作者需要多個輸入圖像，這些圖像必須代表整個輸入序列。

因此，作者的目標是針對每張圖像創(chuàng)建一個可視化表示，以便更好地理解子模型的處理過程，同時遵守GDPR的要求。作者旨在可視化模型在預測異常時關注的區(qū)域。為此，可以使用顯著性圖和激活圖。顯著性圖突出顯示圖像中的感興趣像素，而激活圖則提供了圖像中不同區(qū)域對最終預測的貢獻的視覺表示。

顯著圖（Saliency maps）是通過計算輸入數據與激活函數梯度來生成的，而激活圖（activation maps）是通過計算輸入數據與希望可視化的層輸出之間的激活函數梯度來獲得的。為了創(chuàng)建這些可視化，需要通過網絡傳播信息以獲得最終的激活值。

很遺憾，“時間分布式”層的使用使得子模型與主模型的傳播變得復雜。此外，提取子模型也會切斷與后續(xù)層的連接。

生成顯著圖需要計算序列的梯度，而不是單個圖像的梯度，這導致了一系列與序列長度對應的梯度。然后將這些梯度顯示出來，為每個圖像生成一個顯著圖。

對于激活圖，作者發(fā)現一種解決方案是利用“時間分布”層的輸出。如前所述，該層通過對序列中的每個圖像應用相同的處理，為數據添加時間因素。該層的輸出可以被解釋為一系列結果，每個圖像對應一個結果。計算出的梯度具有與輸出相同的尺寸，這使得每個梯度可以應用于其相應的輸出，并生成一個激活圖，然后將其投影到相關圖像上。值得注意的是，在這種架構中，只能為子模型的輸出層生成激活圖。

4 Experimentation:

在本節(jié)中，作者將展示之前解釋的每種方法的性能，以及它們的優(yōu)缺點。對于非專家，如安全官員，依賴激活圖而不是顯著圖要實際得多，如圖3和4所示。

通過觀察圖5中呈現的激活圖，作者可以發(fā)現，即使圖片連續(xù)，作者的模型也不會關注到同一區(qū)域。這要歸因于作者模型中缺乏注意力層。

為了方便解釋作者的序列，作者使用OpenCV提取了這些激活圖的輪廓。圖6所示的輪廓可視化使作者注意到一些難以通過激活圖感知的低激活區(qū)域。然而，它也存在一些缺點；例如，輪廓檢測并不十分精確，當周圍有較大激活區(qū)域時，可能會包含其他輪廓。此外，目前這種新的可視化方式無法讓作者知道激活的強度。

圖像7完美地說明了這種技術的優(yōu)缺點。在圖像1中，作者可以看到槍被感知為低激活區(qū)域，這在激活圖上很難看到，但通過輪廓變得非常清晰。作者還可以觀察到一個主要的激活區(qū)域被一個次要的激活區(qū)域包圍，該激活區(qū)域位于圖像的左側。圖像2顯示一個人擊打了另一個人。通過激活圖，它似乎表明模型很好地感知了動作，但錯誤地將場景 Token 為“正常”。然而，通過觀察輪廓，作者 Aware 到它完全錯過了動作。

如圖8、9和10所示的激活圖也使作者能夠觀察到其他層（RNN、Dense、Dropout等）對通過卷積神經網絡學習的特征的影響。這種影響是由于這種模型中的反向傳播造成的，這使作者能夠更好地定義這些層參數。

這些可視化也允許作者檢查與“正?！鳖愊嚓P的特征。在有監(jiān)督學習中，這個類代表沒有異常，涵蓋了許多動作，如工作、行走或鍛煉等。值得注意的是，這個類別的運動通常較慢，與異常類（由突然、快速的移動 Token ）相反。在沒有異常指標的情況下，人類可能會默認將正常類分配給沒有異常，但作者的模型并不遵循這種邏輯。為了預測正常類，它必須檢測代表該類的特定特征。通過可視化屬于這個類的視頻示例，作者可以看到正常類是正常類的良好例子。

4 Discussion

在本文中，作者開發(fā)了一種新的異常類別，它們不能很好地代表正常類別。作者通過激活映射11、顯著性映射12或特征映射13，發(fā)現作者的模型主要依賴于屏幕上存在的個體的姿勢來預測這個類別。

結論

通過本文，作者證明了將特定于卷積神經網絡（CNNs）的某些可視化技術適應于卷積循環(huán)網絡（convRNNs）的可能性，在“時間分布式”層內集成卷積，同時符合GDPR的要求。

然而，還有幾個領域有待探索：

輪廓可視化可以通過納入激活區(qū)域強度表示進行改進。

另一種有前途的方法是利用目標檢測模型精確地定位異常，這可以促進實時可視化，這對需要時間關鍵因素的應用程序具有重大優(yōu)勢。

雖然視覺 Transformer 允許使用注意力圖進行可視化，但這個過程仍然慢且計算成本高，因此不適合需要立即反饋的應用程序。發(fā)展專門針對視頻數據的可視化技術，可以極大地豐富作者的分析能力。

參考文獻

[0]. From CNN to ConvRNN: Adapting Visualization Techniques for Time-Series Anomaly Detection.