CVPR 2021 | KeepAugment：一種簡單的信息保存數(shù)據(jù)擴(kuò)增方法, 助力分類/分割/檢測漲點(diǎn)！

數(shù)據(jù)增強(qiáng)（DA）是實(shí)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)有效漲點(diǎn)的技巧，如CutMix、AutoAugmemt等，在圖像分類、目標(biāo)檢測等方向?qū)崿F(xiàn)了簡單粗暴漲點(diǎn)，但數(shù)據(jù)擴(kuò)增可能會(huì)引入noisy 增強(qiáng)樣本，從而在推理過程中損害未增強(qiáng)數(shù)據(jù)的性能，為緩解此問題，KeepAugment 提出了一種簡單但高效的方法，稱為"保持增強(qiáng)"，以提高增強(qiáng)圖像的保真度。這個(gè)想法是首先使用顯著圖來檢測原始圖像上的重要區(qū)域，然后在增廣過程中保留這些信息區(qū)域。這種信息保存策略使我們能夠生成更多保真的訓(xùn)練樣本。實(shí)驗(yàn)證明 KeepAugment 可以提升絕大多數(shù)數(shù)據(jù)擴(kuò)增方法的有效性，實(shí)現(xiàn)了在分類/分割/檢測等多個(gè)領(lǐng)域漲點(diǎn)。

論文：KeepAugment: A Simple Information-Preserving Data Augmentation Approach

鏈接：https://arxiv.org/abs/2011.11778

01 Data Augmentation

數(shù)據(jù)增強(qiáng)被證明是解決各種挑戰(zhàn)性深度學(xué)習(xí)任務(wù)的關(guān)鍵技術(shù)，在多個(gè)領(lǐng)域如圖像分類，圖像分割，目標(biāo)檢測和半監(jiān)督學(xué)習(xí)。盡管數(shù)據(jù)增強(qiáng)會(huì)增加有效數(shù)據(jù)的大小并增加訓(xùn)練數(shù)據(jù)的多樣性，但這不可避免地會(huì)在訓(xùn)練過程中引入具有噪聲和歧義的擴(kuò)增樣本。    圖 1

1.1 Data Augmentation

KeepAugment 的工作主要關(guān)注標(biāo)簽不變的數(shù)據(jù)擴(kuò)增方法，當(dāng)前數(shù)據(jù)擴(kuò)增的方法大致可以分為區(qū)域級(jí)別增強(qiáng)方法，例如Cutout(圖1 a2和b2)和CutMix，它們可以掩蓋或修改圖像的隨機(jī)選擇的矩形區(qū)域，以及圖像級(jí)增強(qiáng)方法，例如AutoAugment 和 RandAugment(圖1 a3和b3)），它們利用增強(qiáng)學(xué)習(xí)來找到用于選擇和組合不同的標(biāo)簽不變變換（例如，旋轉(zhuǎn)，顏色反轉(zhuǎn)，翻轉(zhuǎn)）的最佳策略。

1.2 Data Augmentation and its Trade-offs

盡管數(shù)據(jù)增強(qiáng)能夠增加數(shù)據(jù)的有效大小，但如果增強(qiáng)幅度控制不當(dāng)，可能會(huì)導(dǎo)致信息丟失并引入噪聲和歧義。作者在CIFAR-10數(shù)據(jù)集上使用Cutout和RandAugment兩種方法進(jìn)行實(shí)驗(yàn)，分析數(shù)據(jù)增強(qiáng)方式的強(qiáng)度與準(zhǔn)確性Acc的關(guān)系,其中cutout的強(qiáng)度由Cutout length控制，RandAugment的強(qiáng)度由Distortion magnitude控制，實(shí)驗(yàn)結(jié)果如下圖所示：

從上圖可以看出，正如通常所期望的，在兩種情況下，泛化（原始數(shù)據(jù)的訓(xùn)練和測試準(zhǔn)確性之間的差距）都會(huì)隨著變換幅度的增加而提高。但是，當(dāng)變換的幅度太大時(shí)（對(duì)于Cutout≥16，對(duì)于RandAugment≥12），訓(xùn)練精度（藍(lán)線）和測試精度（紅線）開始退化，表明增強(qiáng)的數(shù)據(jù)沒有在這種情況下，較長的時(shí)間持續(xù)地表示干凈的訓(xùn)練數(shù)據(jù)，以使增強(qiáng)數(shù)據(jù)上的訓(xùn)練損失不能再替代干凈數(shù)據(jù)上的訓(xùn)練損失。

02 KeepAugment

KeepAugment的思路是通過saliency map（如圖1 a4和b4）測量圖像中矩形區(qū)域的重要性，并確保在數(shù)據(jù)增強(qiáng)后保留重要性得分最高的矩形區(qū)域。 對(duì)于Cutout，作者通過避免剪切重要區(qū)域來實(shí)現(xiàn)這一點(diǎn)（請(qǐng)參見圖1 a5和b5）;對(duì)于圖像級(jí)轉(zhuǎn)換，例如RandAugment，作者通過將重要區(qū)域粘貼到轉(zhuǎn)換圖像的頂部來實(shí)現(xiàn)此目的（請(qǐng)參見圖1 a6和b6）。

2.1 KeepAugment

從上面的思路中不難分析出KeepAugment主要可以分為（1）計(jì)算saliency map（2）保留重要的矩形區(qū)域這兩個(gè)步驟。其中第二步又可以根據(jù)數(shù)據(jù)增強(qiáng)方式分為Selective-Cut，Selective-Paste。

Saliency map

KeepAugment 通過 vanilla gradient 方法獲取saliency map，具體來說，給定圖像x及其對(duì)應(yīng)標(biāo)簽logit value ly(x)，KeepAugment 將gij(x, y)設(shè)為vanilla gradients的絕對(duì)值| ?x ly(x)|。對(duì)于RBG圖像，采用通道最大值，以獲取每個(gè)像素（i，j）的單個(gè)顯著性值。重要性得分定義的公式如下所示：

Selective-Cut

KeepAugment對(duì)于區(qū)域級(jí)的數(shù)據(jù)增強(qiáng)方法(如：cutout), 我們通過確保被切割的區(qū)域不會(huì)具有較大的重要性得分來控制數(shù)據(jù)增強(qiáng)的保真度。這實(shí)際上是通過**Algorithm 1(a）**實(shí)現(xiàn)的，在算法1中，我們隨機(jī)采樣要切割的區(qū)域S，直到其重要性得分I(S,x,y)小于給定的閾值τ。相應(yīng)的數(shù)據(jù)增強(qiáng)定義如下：      其中是切割的區(qū)域S的binary mask，

Selective-Paste

因?yàn)閳D像級(jí)變換共同修改了整個(gè)圖像，所以我們通過粘貼具有較高重要性的隨機(jī)區(qū)域來確保變換的保真度，Algorithm 1(b） 顯示了如何在實(shí)踐中實(shí)現(xiàn)此目標(biāo)的方法，其中繪制圖像級(jí)別的增強(qiáng)數(shù)據(jù)x0 = A(x)，對(duì)滿足閾值τ的I(S, x, y)>τ的區(qū)域S進(jìn)行均勻采樣，然后將原始圖像x的regionS粘貼到x'，從而得出

2.2 Efficient Implementation of KeepAugment

KeepAugment要求在每個(gè)訓(xùn)練步驟中通過反向傳播來計(jì)算 saliency map。直接計(jì)算的話會(huì)導(dǎo)致計(jì)算成本增加兩倍。在這一部分中，作者提出了兩種有效的策略來計(jì)算saliency map。

基于低分辨率的近似方法， 作者進(jìn)行如下操作：a）對(duì)于給定的圖像x，首先生成一個(gè)低分辨率副本，然后計(jì)算其saliency map；b）將低分辨率saliency map映射到其相應(yīng)的原始分辨率。這樣能夠顯著加快saliency map的計(jì)算速度，例如在ImageNet上，通過將分辨率從224降低到112，實(shí)現(xiàn)了3倍的計(jì)算成本降低。

基于Eary loss的近似方法，第二個(gè)想法是在網(wǎng)絡(luò)前面層添加loss，然后用此loss來saliency map。實(shí)際上，在評(píng)估了網(wǎng)絡(luò)的第一塊之后添加了一個(gè)附加的平均池化層和一個(gè)線性頭。我們的訓(xùn)練目標(biāo)與Inception Network相同。用標(biāo)準(zhǔn)損失和輔助損失訓(xùn)練神經(jīng)網(wǎng)絡(luò)。在計(jì)算saliency map時(shí)，實(shí)現(xiàn)了3倍的計(jì)算成本降低。

在實(shí)驗(yàn)中，作者表明兩種近似策略均不會(huì)導(dǎo)致任何性能下降。

03 實(shí)驗(yàn)結(jié)果

作者經(jīng)過實(shí)驗(yàn)表明KeepAugment在各種挑戰(zhàn)性深度學(xué)習(xí)任務(wù)（包括圖像分類，半監(jiān)督圖像分類，多視圖多攝像機(jī)跟蹤，和目標(biāo)檢測）中都實(shí)現(xiàn)了準(zhǔn)確率的提升。

分類任務(wù)：

（1）CIFAR-10（2）ImageNet

目標(biāo)檢測任務(wù)：

半監(jiān)督學(xué)習(xí)：

04 實(shí)驗(yàn)結(jié)果

這篇文章分析表明現(xiàn)有的數(shù)據(jù)增強(qiáng)方案可能會(huì)引入noisy 增強(qiáng)樣本，從而限制了它們提高整體性能的能力。因此，作者使用saliency map來衡量每個(gè)區(qū)域的重要性，并提出避免區(qū)域級(jí)數(shù)據(jù)增強(qiáng)方法（例如Cutout）切割重要區(qū)域；或從原始數(shù)據(jù)中粘貼關(guān)鍵區(qū)域以進(jìn)行圖像級(jí)數(shù)據(jù)增強(qiáng)?？偠灾琄eepAugment 是一項(xiàng)能夠提高數(shù)據(jù)增強(qiáng)有效性的通用方法