↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

來源丨機(jī)器之心

極市導(dǎo)讀

來自美國(guó)東北大學(xué)等機(jī)構(gòu)的研究者提出了一種全自動(dòng)模式化稀疏度感知訓(xùn)練框架，助力深度神經(jīng)網(wǎng)絡(luò)在移動(dòng)端“看得更清，跑得更快”。>>>極市七夕粉絲福利活動(dòng)：煉丹師們，七夕這道算法題，你會(huì)解嗎？

作者簡(jiǎn)介：馬曉龍，美國(guó)東北大學(xué) ECE 系 PhD 四年級(jí)學(xué)生，主要研究領(lǐng)域?yàn)闄C(jī)器學(xué)習(xí)算法，研究?jī)?nèi)容在 AAAI、ECCV、TNNLS、ASPLOS、DAC、ICS、PACT 等多個(gè)機(jī)器學(xué)習(xí)和計(jì)算機(jī)系統(tǒng)會(huì)議上發(fā)表。

基于模式化稀疏度的剪枝方法能夠使深度神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別任務(wù)中「看得」更清楚，同時(shí)減小了模型尺寸，使模型在移動(dòng)端「跑得」更快，實(shí)現(xiàn)實(shí)時(shí)推理。

由美國(guó)東北大學(xué)王言治教授研究團(tuán)隊(duì)與美國(guó)威廉瑪麗學(xué)院任彬教授研究團(tuán)隊(duì)共同提出，IBM、清華等共同研究的模式化稀疏度感知訓(xùn)練框架，不僅能夠同時(shí)實(shí)現(xiàn)卷積核稀疏模式的全自動(dòng)提取、模式化稀疏度的自動(dòng)選擇與模型訓(xùn)練，還證明了所提取的模式化稀疏度與理論最佳模式化稀疏度相匹配，并進(jìn)一步設(shè)計(jì)了能夠利用模型特點(diǎn)實(shí)現(xiàn)編譯器優(yōu)化的移動(dòng)端推理框架，實(shí)現(xiàn)了大規(guī)模深度神經(jīng)網(wǎng)絡(luò)在手機(jī)移動(dòng)端上的實(shí)時(shí)推理。目前，這篇文章已被 ECCV 2020 會(huì)議收錄，該文章同時(shí)入選 ECCV 2020 demonstration track。

目前，這項(xiàng)技術(shù)已經(jīng)廣泛應(yīng)用在多種類型的人工智能（AI）任務(wù)中，包括但不限于：Yolo-v4 目標(biāo)檢測(cè)、實(shí)時(shí)相機(jī)風(fēng)格遷移、AI 實(shí)時(shí)換臉、相機(jī)超分辨率拍攝、視頻實(shí)時(shí)上色等，并且成功落地。以上任務(wù)全部在手機(jī)端上實(shí)現(xiàn)。

讀者可點(diǎn)擊以下鏈接，觀看手機(jī)端實(shí)現(xiàn)的更多 AI 任務(wù)展示：

官方網(wǎng)站：https://www.cocopie.ai/

B 站：https://space.bilibili.com/573588276

接下來，我們來看論文的詳細(xì)內(nèi)容。

論文簡(jiǎn)介

論文鏈接：https://arxiv.org/abs/2001.07710

通過開發(fā)功能強(qiáng)大的算法和設(shè)計(jì)工具，深度神經(jīng)網(wǎng)絡(luò)（DNN）成為各個(gè)領(lǐng)域的最新技術(shù)，包括圖像分類、計(jì)算機(jī)視覺、語(yǔ)音識(shí)別和目標(biāo)檢測(cè)。隨著海量數(shù)據(jù)不斷增加，應(yīng)用程序日趨復(fù)雜，模型的大小也急劇增加，對(duì)算力與內(nèi)存的需求與日俱增，使得深度神經(jīng)網(wǎng)絡(luò)在資源有限的移動(dòng)平臺(tái)上實(shí)現(xiàn)實(shí)時(shí)推理受到很大的挑戰(zhàn)。

近年來，移動(dòng)與邊緣計(jì)算平臺(tái)正在迅速取代臺(tái)式機(jī)和筆記本電腦，成為深度神經(jīng)網(wǎng)絡(luò)應(yīng)用程序的主要計(jì)算設(shè)備。這些移動(dòng)與邊緣計(jì)算設(shè)備的物理尺寸受到嚴(yán)格限制，并結(jié)合了此類設(shè)備需要長(zhǎng)時(shí)間運(yùn)行的要求。然而，在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)實(shí)際部署時(shí)，借助現(xiàn)有的移動(dòng)端深度神經(jīng)網(wǎng)絡(luò)推理框架依然很難實(shí)現(xiàn)實(shí)時(shí)推理。即便這些平臺(tái)能夠運(yùn)行大規(guī)模深度神經(jīng)網(wǎng)絡(luò)，巨大的計(jì)算代價(jià)對(duì)計(jì)算平臺(tái)的運(yùn)行時(shí)長(zhǎng)也提出了挑戰(zhàn)。因此，研發(fā)微型化的網(wǎng)絡(luò)模型與可通用的加速方法勢(shì)在必行。

為了彌合深度學(xué)習(xí)任務(wù)的性能（推理速度）要求與目標(biāo)計(jì)算平臺(tái)上資源可用性之間的差距，在算法層面，深度神經(jīng)網(wǎng)絡(luò)模型剪枝技術(shù)已被證明可有效消除原始模型中的冗余，從而得到小尺寸的網(wǎng)絡(luò)模型。當(dāng)前的兩種主流剪枝方案——非結(jié)構(gòu)化權(quán)重剪枝和結(jié)構(gòu)化權(quán)重剪枝，代表了剪枝方式的兩個(gè)極端，無法在保證模型精度和泛化能力的前提下，解決硬件執(zhí)行效率低下的問題。研究者認(rèn)為，必須尋求一種可以提供甚至超越兩種稀疏性的最佳剪枝方案。

如圖 1 所示，研究人員可視化了 VGG-16 在 ImageNet 上的預(yù)訓(xùn)練模型的部分權(quán)重，并且發(fā)現(xiàn)（i）卷積核的有效面積（即具有較高絕對(duì)值的權(quán)重）形成一些特定形狀并在模型中反復(fù)出現(xiàn)，（ii）某些卷積核的權(quán)重值非常小，因此并不能對(duì)輸出產(chǎn)生有效的激活，研究人員認(rèn)為這種卷積核是無效卷積核。

圖 1. ImageNet 數(shù)據(jù)集上 VGG-16 第三卷積層中隨機(jī)選擇的卷積核的熱力圖。每個(gè)內(nèi)核中的權(quán)重值都經(jīng)過歸一化處理，深色表示該處為較高的絕對(duì)值。

基于上述兩個(gè)發(fā)現(xiàn)，該研究提出了一個(gè)新的稀疏性維度——模式化稀疏度，并且提出了基于模式化稀疏度的深度神經(jīng)網(wǎng)絡(luò)權(quán)重模式化剪枝的概念。

如圖 2 所示，模式化剪枝中包含了兩種卷積核層面的模型稀疏化方法，即卷積核（convolution kernel）模式化剪枝（pattern pruning）與連通性剪枝（connectivity pruning）。

圖 2. 模式化剪枝示意圖。

為了實(shí)現(xiàn)卷積核模式化剪枝，該研究在每個(gè)卷積內(nèi)核中刪除固定數(shù)量的權(quán)重，其余權(quán)重形成具有特定形狀的「模式化內(nèi)核」。通過進(jìn)一步挖掘，研究人員發(fā)現(xiàn)一些精心設(shè)計(jì)的卷積核模式（kernel pattern）具有特殊的視覺特性，可以潛在地提高圖像質(zhì)量，從而增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的特征提取能力。但是，什么樣的卷積核模式能夠更好地提升模型性能，同時(shí)保證硬件執(zhí)行效率呢？這依然是個(gè)重要的問題。

同時(shí)，即使存在理論最優(yōu)的卷積核模式，它能否在實(shí)際情況中得到深度神經(jīng)網(wǎng)絡(luò)的「青睞」？這又給該稀疏化方法的應(yīng)用增加了不確定性。本文將從理論層面、算法實(shí)現(xiàn)層面、移動(dòng)端硬件與編譯器優(yōu)化層面詳細(xì)論述以上問題，并用實(shí)驗(yàn)數(shù)據(jù)展示模式化剪枝在高精度、實(shí)時(shí)性推理方面的強(qiáng)大作用。

理論層面

在理論層面，該研究從一個(gè)全新且獨(dú)特的角度審視了剪枝的概念。不同于將剪枝定義為模型參數(shù)的移除，這篇論文將剪枝轉(zhuǎn)化成對(duì)神經(jīng)網(wǎng)絡(luò)模型權(quán)重加入一層二進(jìn)制掩膜。研究人員將不同形狀的二進(jìn)制掩膜的集合稱為「模式集」（pattern library），并將加入掩膜看作一種對(duì)神經(jīng)網(wǎng)絡(luò)的插值操作。通過不同模式的掩膜插值，得到一些功能性圖像濾波器特征，能夠?qū)崿F(xiàn)圖像的銳化與降噪，提高圖像質(zhì)量。值得一提的是，插值操作的過程僅需要少量種類的卷積核模式（或者說一個(gè)小尺寸的模式集）。

這樣做所帶來的好處是：（i）在算法層面，相對(duì)較少的卷積核模式可確保合適的搜索空間，以實(shí)現(xiàn)在深度神經(jīng)網(wǎng)絡(luò)上得到較好的訓(xùn)練效果；（ii）從編譯器角度來看，更少的模式意味著更少的計(jì)算范式，從而能夠潛在地降低線程分支。

圖 3 展示了該研究設(shè)計(jì)的八種卷積核模式，通過 n 次插值，圖 3（上）能夠得到高斯濾波器，圖 3（下）能夠得到增強(qiáng)型拉普拉斯高斯濾波器。其中 n 代表神經(jīng)根網(wǎng)絡(luò)層數(shù)，系數(shù) p 為任意位置 1 出現(xiàn)的概率，在正則化運(yùn)算后沒有實(shí)際意義。

圖3.卷積核模式設(shè)計(jì)。

算法實(shí)現(xiàn)層面

通過上述理論推導(dǎo)，我們得到了八種卷積核模式作為模式集。但是，一些至關(guān)重要的問題仍未得到解決。例如，這些從理論層面得出的最優(yōu)模式集在算法實(shí)現(xiàn)層面上也是最理想的嗎？即便以上問題的答案是肯定的，那么如何為每個(gè)卷積核選擇合適的卷積核模式并訓(xùn)練非零權(quán)重？

為了回答上述問題，研究者在算法實(shí)現(xiàn)層面，設(shè)計(jì)了模式化稀疏度感知訓(xùn)練框架（pattern-aware network pruning framework），能夠同時(shí)實(shí)現(xiàn)卷積核模式集的自動(dòng)提取，模式化稀疏度的自動(dòng)選擇與模型訓(xùn)練。

在卷積核模式集的自動(dòng)提取中，研究人員首先構(gòu)建一個(gè)模式集全集，包含了所有可能種類的卷積核模式。在訓(xùn)練過程中，他們將這個(gè)模式集作為稀疏化目標(biāo)，通過 ADMM（alternating direction method of multipliers）將原始剪枝問題解耦為 Primal-Proximal 問題，迭代式地通過傳統(tǒng)梯度下降法求解 Primal 問題，并引入一個(gè)二次項(xiàng)迭代求解 Proximal 問題。通過每次 Primal-Proximal 迭代更新，使卷積核動(dòng)態(tài)地從模式集中選擇當(dāng)前最優(yōu)的卷積核模式，并同時(shí)通過梯度下降法訓(xùn)練該模式非零位置的權(quán)重。當(dāng)卷積核對(duì)稀疏模式的選擇趨于穩(wěn)定的時(shí)候（一般僅需要迭代 3-5 次），就可以刪除掉那些被選擇次數(shù)非常少的卷積核模式，從而將模式集的大小降低，并用更新后的模式集進(jìn)行下一輪迭代，最終實(shí)現(xiàn)模式集的自動(dòng)提取。

盡管上述過程為迭代過程，但需要的總訓(xùn)練時(shí)長(zhǎng)卻是非常低的，原因在于該操作的目的是提取模式集而非完成整個(gè)訓(xùn)練過程。完成每一次模式集提取的迭代過程僅僅需要常規(guī)訓(xùn)練時(shí)長(zhǎng)的 10%-20%。當(dāng)訓(xùn)練集的大小足夠小的時(shí)候，我們便可以用比常規(guī)訓(xùn)練時(shí)長(zhǎng)減少 20% 左右的訓(xùn)練時(shí)間完成訓(xùn)練。從實(shí)驗(yàn)結(jié)果來看，完成模式集提取、模式化稀疏度選擇與模型訓(xùn)練的總時(shí)長(zhǎng)甚至可以少于大部分其他模型剪枝工作。

移動(dòng)端硬件與編譯器優(yōu)化層面

通過上述模式化稀疏度感知訓(xùn)練框架，我們得到了模式化剪枝后的稀疏模型。如何利用模型的權(quán)重空間分布特點(diǎn)實(shí)現(xiàn)編譯器優(yōu)化成為移動(dòng)端硬件與編譯器優(yōu)化層面的研究重點(diǎn)。

研究人員設(shè)計(jì)了適合模式化剪枝的移動(dòng)端推理框架，能夠部署并高效執(zhí)行模式化剪枝后的深度神經(jīng)網(wǎng)絡(luò)模型，如圖 4 所示。

圖 4. 深度神經(jīng)網(wǎng)絡(luò)基于編譯器優(yōu)化的移動(dòng)端推理框架概述。

這種編譯器構(gòu)架基于代碼生成原理，將深度神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)化為底層靜態(tài)執(zhí)行代碼，并配合適合模型特點(diǎn)的編譯優(yōu)化。研究人員利用已知的卷積核模式與連通性信息，相應(yīng)地將每個(gè)卷積核的計(jì)算范式進(jìn)行歸類。通過將相同的卷積核模式（相同的計(jì)算范式）排列在一起，并將相似的重排結(jié)果在相同的線程中進(jìn)行并行計(jì)算，消除所有靜態(tài)代碼分支，保證了高指令級(jí)與線程級(jí)平行性。

我們同時(shí)可以觀察到，卷積核與輸出通道重排后的模型權(quán)重分布非常規(guī)則與緊湊，因此，在緩存與寄存器訪問頻率上的優(yōu)化效果變得非常明顯。規(guī)則與緊湊的數(shù)據(jù)意味著更低的數(shù)據(jù)訪問頻率，而數(shù)據(jù)訪問頻率降低意味著更低的內(nèi)存開銷。這一設(shè)計(jì)方法是可通用的，因此該研究提出的移動(dòng)端推理框架可以大規(guī)模地部署在現(xiàn)有各種量產(chǎn)手機(jī)端，實(shí)現(xiàn)端上 AI 實(shí)時(shí)推理，滿足用戶需求。

實(shí)驗(yàn)結(jié)果

該研究的實(shí)驗(yàn)結(jié)果從三個(gè)方面展示了模式化稀疏度感知訓(xùn)練框架與基于編譯器的移動(dòng)端推理框架的性能，分別是卷積核模式集提取結(jié)果、模式化剪枝精度提升效果與移動(dòng)端推理速度。

首先，圖 5 展示了卷積核模式集提取結(jié)果。研究人員首先確定了每一個(gè)卷積核中應(yīng)保留 4 個(gè)非零值，這樣做的好處是控制模式集總集的大小，同時(shí)也利于移動(dòng)端 CPU/GPU 的 SIMD 結(jié)構(gòu)。當(dāng)經(jīng)過兩次模式集提取后，模式集總集大小從 126 減小到 32 個(gè)，這時(shí)的模式集中卷積核模式分布圖如圖 5（b）所示。研究人員進(jìn)一步訓(xùn)練并刪除出現(xiàn)次數(shù)最少的卷積核模式后，得到了 Phase 1、2、3 模式集，其中的卷積核模式數(shù)量分別為 12、8、4，如圖 5（a）所示?？梢园l(fā)現(xiàn)，Phase 2 模式集所含的卷積核模式與理論推導(dǎo)與八種卷積核模式完全匹配。因此研究人員得出結(jié)論，基于理論得出的卷積核模式也是算法實(shí)現(xiàn)層面上對(duì)于深度神經(jīng)網(wǎng)絡(luò)最優(yōu)的卷積核模式。

圖 5. 模式化稀疏度感知訓(xùn)練框架的模式集提取結(jié)果。

其次，研究人員展示了模式化剪枝對(duì)深度神經(jīng)網(wǎng)絡(luò)精度的提升。通過剪枝，深度神經(jīng)網(wǎng)絡(luò)將圖像的細(xì)節(jié)「看得」更清了。如圖 6 所示，通過不同的可視化方法，經(jīng)過模式化剪枝的深度神經(jīng)網(wǎng)絡(luò)模型對(duì)于圖像有明顯的增強(qiáng)作用，模式化剪枝后的模型能夠提取圖像中更多的關(guān)鍵特征，并降低圖像中的噪聲。

圖 6. 基于 VGG-16 在 ImageNet 上剪枝后的模型可視化效果圖。此處采用了三種不同的可視化方法：（a）guided-backpropagation (BP) ，（b） integrated gradients，（c）inverted representation。

再次，研究人員展示了在不同種類的模式集（Phase 1、2、3）下，多種深度神經(jīng)網(wǎng)絡(luò)在 CIFAR-10 與 ImageNet 訓(xùn)練集上不同程度的精度提升效果，如圖 7（a）所示。我們發(fā)現(xiàn)，在絕大多數(shù)情況下，當(dāng)模型加載 Phase 2（同時(shí)也是理論推導(dǎo)得出的模式集）時(shí)，深度神經(jīng)網(wǎng)絡(luò)的精度提升幅度更大。這一現(xiàn)象使研究人員更加確信，基于理論得出的卷積核模式同時(shí)也是算法實(shí)現(xiàn)層面上對(duì)于深度神經(jīng)網(wǎng)絡(luò)最佳的卷積核模式。

圖 7（b）從另一個(gè)角度佐證了這一觀點(diǎn)：當(dāng)擁有不同種類模式集的深度神經(jīng)網(wǎng)絡(luò)模型疊加相同剪枝率的連通性剪枝時(shí)，擁有 Phase 2 的模型能夠保持更高水平的模型精度。研究人員在不同的網(wǎng)絡(luò)結(jié)構(gòu)模型中觀察到了同樣的現(xiàn)象。因此可以證明，Phase 2 模式集擁有更加穩(wěn)定的精度表現(xiàn)。

圖 7. （a）基于 CIFAR-10 與 ImageNet 的不同深度神經(jīng)網(wǎng)絡(luò)在模式化剪枝下的精度升高實(shí)驗(yàn)結(jié)果，（b）卷積核模式化剪枝疊加連通性剪枝后的 ResNet-18 訓(xùn)練曲線圖。

表 1 進(jìn)一步展示了模式化剪枝的總體結(jié)果，研究人員將最好的剪枝精度與其模式集類型記錄在表格中，并與其他研究工作進(jìn)行系統(tǒng)性對(duì)比，結(jié)果表明大部分擁有最高精度的剪枝模型是基于 Phase 2 模式集的，這一現(xiàn)象同時(shí)體現(xiàn)在不同的數(shù)據(jù)集與深度神經(jīng)網(wǎng)絡(luò)中。

表 1. 基于模式化的剪枝在 CIFAR-10 與 ImageNet 數(shù)據(jù)集上的剪枝結(jié)果對(duì)比。

最后，該研究測(cè)試了基于編譯器的移動(dòng)端推理框架對(duì)模式化剪枝模型的加速效果。實(shí)驗(yàn)結(jié)果表明，模式化剪枝與編譯器的協(xié)同優(yōu)化極大地提高了移動(dòng)端的推理速度。在移動(dòng)端，研究人員使用了 Samsung Galaxy S10 智能手機(jī)來測(cè)試推理速度。

如圖 8 所示，研究者測(cè)試了基于 Phase 2 模式集的稀疏化深度神經(jīng)網(wǎng)絡(luò)模型在 ImageNet 圖像上的推理速度與在現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)加速器（TVM、MNN、TensorFlow-Lite）上的速度對(duì)比。

圖8.基于Phase 2模式集的稀疏化深度神經(jīng)網(wǎng)絡(luò)模型在移動(dòng)端的加速效果展示圖。

結(jié)果表明，該研究提出的模式化剪枝與通用型移動(dòng)端推理框架在推理速度上遠(yuǎn)遠(yuǎn)超過現(xiàn)有的加速器。事實(shí)上，在每一種網(wǎng)絡(luò)結(jié)構(gòu)下，該研究提出的方法在移動(dòng)端都能在沒有精度損失的情況下實(shí)現(xiàn)實(shí)時(shí)計(jì)算的要求（30 frames/second，即 33ms/second）。例如，在大型神經(jīng)網(wǎng)絡(luò) VGG-16 上，該方法的推理時(shí)間僅為 15ms。這一對(duì)于最優(yōu)的模式化剪枝方法與通用型的移動(dòng)推理框架的研究使得在移動(dòng)端對(duì)任意神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)運(yùn)算變?yōu)榭赡堋?/span>

圖9.基于模式化剪枝與通用型移動(dòng)端推理框架在手機(jī)端不同AI應(yīng)用場(chǎng)景的執(zhí)行效果示意。從左到右依次為：相機(jī)超分辨率拍攝、實(shí)時(shí)相機(jī)風(fēng)格遷移、視頻實(shí)時(shí)上色、AI換臉。

圖10.基于模式化剪枝與通用型移動(dòng)端推理框架在手機(jī)端的執(zhí)行效果圖。從左到右依次為，實(shí)時(shí)相機(jī)風(fēng)格遷移、視頻實(shí)時(shí)上色、相機(jī)超分辨率拍攝。

推薦閱讀

如何學(xué)會(huì)看 arxiv.org 才能不錯(cuò)過自己研究領(lǐng)域的最新論文？
李飛飛：我怎樣走上AI研究之路
煉丹師們，七夕這道算法題，你會(huì)解嗎？

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺得有用麻煩給個(gè)在看啦~??

YOLO-v4目標(biāo)檢測(cè)、換臉、視頻上色全部實(shí)時(shí)手機(jī)端實(shí)現(xiàn)，美國(guó)東北大學(xué)等提出全自動(dòng)實(shí)時(shí)移動(dòng)端AI框架

理論層面

算法實(shí)現(xiàn)層面

移動(dòng)端硬件與編譯器優(yōu)化層面

實(shí)驗(yàn)結(jié)果

YOLO-v4目標(biāo)檢測(cè)、換臉、視頻上色全部實(shí)時(shí)手機(jī)端實(shí)現(xiàn)，美國(guó)東北大學(xué)等提出全自動(dòng)實(shí)時(shí)移動(dòng)端AI框架